用于图像篡改定位的渐进式反馈增强Transformer
计算机视觉与模式识别
2025-02-11 v2 密码学与安全
摘要
数字图像中篡改区域的盲检测是应对局部图像编辑技术恶意使用的有效认证手段。现有的编码器-解码器取证网络忽视了检测复杂且细微的篡改区域通常需要更多反馈信息这一事实。本文提出一种渐进式反馈增强Transformer（ProFact）网络，以实现由粗到细的图像篡改定位。具体而言，初始分支网络生成的粗定位图被自适应反馈至早期Transformer编码器层，从而增强正类特征表示并抑制干扰因素。级联Transformer网络结合上下文空间金字塔模块，旨在精炼具有判别性的取证特征，以提升篡改定位的准确率和可靠性。此外，我们提出一种有效策略，可自动生成接近真实世界取证场景的大规模篡改图像样本，尤其在真实且连贯的处理方面。利用此类样本，对ProFact网络应用了一种渐进且高性价比的两阶段训练协议。在九个公开取证数据集上的大量实验结果表明，我们所提出的定位器在图像篡改定位的泛化能力与鲁棒性上大幅优于最先进方法。代码将公开于 https://github.com/multimediaFor/ProFact。
引用
@article{arxiv.2311.08910,
title = {Progressive Feedback-Enhanced Transformer for Image Forgery Localization},
author = {Haochen Zhu and Gang Cao and Xianglin Huang},
journal= {arXiv preprint arXiv:2311.08910},
year = {2025}
}