TruFor：利用全方位线索实现可信图像伪造检测与定位
计算机视觉与模式识别
2023-05-29 v3
摘要
本文提出 TruFor，一种可应用于多种图像篡改方法的取证框架，涵盖从经典 cheapfakes 到基于深度学习的最新篡改。我们依托于通过基于 transformer 的融合架构提取高层与低层痕迹，该架构结合了 RGB 图像与一种学习得到的噪声敏感指纹。后者通过仅在真实数据上以自监督方式训练，学习嵌入与相机内部及外部处理相关的伪影。伪造被检测为偏离表征每幅原始图像的预期规则模式。这种寻找异常的方式使该方法能够鲁棒地检测多种局部篡改，确保泛化能力。除像素级定位图和整图完整性分数外，我们的方法还输出一张可靠性图，用于高亮定位预测可能易错的区域。这在取证应用中尤为重要，以降低误报并实现大规模分析。在多个数据集上的大量实验表明，我们的方法能够可靠地检测和定位 cheapfakes 与 deepfakes 篡改，优于现有最优工作。代码公开于 https://grip-unina.github.io/TruFor/
引用
@article{arxiv.2212.10957,
title = {TruFor: Leveraging all-round clues for trustworthy image forgery detection and localization},
author = {Fabrizio Guillaro and Davide Cozzolino and Avneesh Sud and Nicholas Dufour and Luisa Verdoliva},
journal= {arXiv preprint arXiv:2212.10957},
year = {2023}
}