ForensicsSAM：鲁棒统一图像伪造检测与定位框架抵御对抗攻击
计算机视觉与模式识别
2025-08-19 v2
摘要
参数高效微调（PEFT）已成为适应大型视觉基础模型（如Segment Anything Model（SAM）和LLaVA）以适应下游任务（如图像伪造检测与定位，IFDL）的流行策略。然而，现有PEFT方法忽视了其对对抗攻击的脆弱性。本文指出，仅通过上游模型即可构造高度可迁移的对抗图像，而无需访问下游模型或训练数据，这显著降低了IFDL性能。为此，我们提出ForensicsSAM，一个内置抵抗对抗攻击的统一IFDL框架。我们的设计受指导三个关键思想：（1）为弥补冻结图像编码器中缺乏伪造相关知识的不足，我们将伪造专家注入每个transformer模块，以增强其捕获伪造痕迹的能力。这些伪造专家始终被激活且在任何输入图像上共享。（2）为检测对抗图像，我们设计了一个轻量级对抗检测器，学习捕获RGB域中结构化、任务特定的痕迹，实现对各种攻击方法的可靠判别。（3）为抵抗对抗攻击，我们将对抗专家注入全局注意力层与MLP模块，以逐步纠正由对抗噪声引起的特征偏移。这些对抗专家由对抗检测器自适应激活，从而避免对干净图像产生不必要的干扰。广泛的实验表明，ForensicsSAM在抵抗多种对抗攻击方法方面表现卓越，同时在图像级伪造检测和像素级伪造定位方面达到最先进水平。该项目已公开于 https://github.com/siriusPRX/ForensicsSAM。
引用
@article{arxiv.2508.07402,
title = {ForensicsSAM: Toward Robust and Unified Image Forgery Detection and Localization Resisting to Adversarial Attack},
author = {Rongxuan Peng and Shunquan Tan and Chenqi Kong and Anwei Luo and Alex C. Kot and Jiwu Huang},
journal= {arXiv preprint arXiv:2508.07402},
year = {2025}
}