CLUE: 利用低秩适配捕获潜在未覆盖证据进行图像伪造定位
计算机视觉与模式识别
2025-08-12 v1
摘要
图像编辑工具和生成式AI的日益普及导致视觉上令人信服的伪造品激增，损害了数字媒体的真实性。在本文中，除了利用传统伪造中的失真之外，我们重新利用了最先进的（SOTA）文本到图像合成模型的机制，通过利用其内部生成过程，将其转变为高保真的伪造定位工具。为此，我们提出了CLUE（捕获潜在未覆盖证据），这是一个采用低秩适配（LoRA）以参数高效的方式将Stable Diffusion 3（SD3）重新配置为取证特征提取器的框架。我们的方法首先策略性地使用SD3的整流流（RF）机制，将不同强度的噪声注入潜在表示，从而引导LoRA调优的去噪过程放大指示伪造的细微统计不一致性。为了用高级语义上下文和精确的空间细节补充潜在分析，我们的方法结合了来自Segment Anything Model（SAM）图像编码器的上下文特征，该编码器经过参数高效适配以更好地追踪伪造区域的边界。大量评估证明了CLUE的SOTA泛化性能，显著优于先前的方法。此外，CLUE对常见的后处理攻击和在线社交网络（OSN）表现出卓越的鲁棒性。代码公开于https://github.com/SZAISEC/CLUE。
引用
@article{arxiv.2508.07413,
title = {CLUE: Leveraging Low-Rank Adaptation to Capture Latent Uncovered Evidence for Image Forgery Localization},
author = {Youqi Wang and Shunquan Tan and Rongxuan Peng and Bin Li and Jiwu Huang},
journal= {arXiv preprint arXiv:2508.07413},
year = {2025}
}