中文

CMFDFormer:基于Transformer的连续学习复制-移动伪造检测网络

计算机视觉与模式识别 2024-03-12 v2

摘要

复制-移动伪造检测旨在检测疑似伪造图像中的重复区域,基于深度学习的复制-移动伪造检测方法正方兴未艾。这些基于深度学习的方法严重依赖合成训练数据,在面对新任务时性能会下降。本文提出一种名为CMFDFormer的Transformer风格复制-移动伪造检测网络,并提供一种新颖的PCSD(池化立方体与条带蒸馏)连续学习框架以帮助CMFDFormer处理新任务。CMFDFormer由MiT(混合Transformer)骨干网络和PHD(可插拔混合解码器)掩码预测网络组成。MiT骨干网络是一种Transformer风格网络,是在与CNN风格和MLP风格骨干网络进行综合分析的基础上采用的。PHD网络基于自相关计算、分层特征融合、多尺度循环全连接块和掩码重建块构建。PHD网络适用于不同风格的特征提取器进行分层多尺度信息提取,取得了可比的性能。最后但同样重要的是,我们提出PCSD连续学习框架,以提升伪造可检测性并避免处理新任务时的灾难性遗忘。我们的连续学习框架约束来自PHD网络的中间特征,并同时利用立方体池化和条带池化。在公开数据集上的大量实验证明了CMFDFormer的良好性能以及PCSD连续学习框架的有效性。

关键词

引用

@article{arxiv.2311.13263,
  title  = {CMFDFormer: Transformer-based Copy-Move Forgery Detection with Continual Learning},
  author = {Yaqi Liu and Chao Xia and Song Xiao and Qingxiao Guan and Wenqian Dong and Yifan Zhang and Nenghai Yu},
  journal= {arXiv preprint arXiv:2311.13263},
  year   = {2024}
}

备注

12pages,7 figures