结合伪造注意力的自对抗训练用于图像伪造定位
计算机视觉与模式识别
2022-02-21 v2 多媒体
摘要
图像编辑技术使人们能够修改图像内容而不留下视觉痕迹，从而可能引发严重的安全风险。因此，对这些伪造的检测与定位变得十分必要且具有挑战性。此外，与其他拥有大量数据的任务不同，由于标注困难，通常缺乏用于训练的标注伪造图像。在本文中，我们提出了一种自对抗训练策略和一种可靠的由粗到细网络，该网络利用自注意力机制来定位伪造图像中的伪造区域。自注意力模块基于通道-wise高通滤波块（CW-HPF）。CW-HPF利用特征的通道间关系并通过高通滤波器提取噪声特征。基于CW-HPF，提出了一种称为伪造注意力的自注意力机制，以捕获从篡改区域提取的内在不一致性的丰富上下文依赖。具体而言，我们在CW-HPF之上分别附加两类注意力模块，以建模空间维度上的内部相互依赖和通道间的外部依赖。我们利用由粗到细网络增强原始区域与篡改区域间的噪声不一致性。更重要的是，为解决训练数据不足的问题，我们设计了一种自对抗训练策略，动态扩充训练数据以实现更鲁棒的性能。具体而言，在每次训练迭代中，我们对网络进行对抗攻击以生成对抗样本，并在这些样本上训练模型。大量实验结果表明，我们提出的算法在不同基准数据集上稳定地以明显优势超越最先进的方法。
引用
@article{arxiv.2107.02434,
title = {Self-Adversarial Training incorporating Forgery Attention for Image Forgery Localization},
author = {Long Zhuo and Shunquan Tan and Bin Li and Jiwu Huang},
journal= {arXiv preprint arXiv:2107.02434},
year = {2022}
}
备注
accepted by TIFS