TriPINet:用于图像篡改定位的三方渐进式融合网络
计算机视觉与模式识别
2022-12-27 v1
摘要
图像篡改定位旨在从整张测试图像中区分出伪造区域。尽管已有许多杰出的已有工作被提出用于该任务,仍有两方面问题需进一步研究:1)如何融合具有伪造线索的多种类型特征;2)如何渐进式融合多阶段特征以获得更好的定位性能。本文中,我们提出一种三方渐进式融合网络(TriPINet)用于端到端图像篡改定位。首先,我们提取视觉感知信息(如 RGB 输入图像)与视觉不可感知特征(如用于取证特征学习的频域与噪声痕迹)。其次,我们提出引导跨模态双注意力(gCMDA)模块以融合不同类型的伪造线索。第三,我们设计了一组渐进式融合压缩激励(PI-SE)模块,通过在解码器中恰当引入多尺度特征来提升定位性能。我们进行了充分的实验,将我们的方法与最先进的图像取证方法进行比较。所提出的 TriPINet 在多个基准数据集上取得了有竞争力的结果。
引用
@article{arxiv.2212.12841,
title = {TriPINet: Tripartite Progressive Integration Network for Image Manipulation Localization},
author = {Wei-Yun Liang and Jing Xu and Xiao Jin},
journal= {arXiv preprint arXiv:2212.12841},
year = {2022}
}