TBNet：用于通用图像篡改定位的双流边界感知网络
计算机视觉与模式识别
2021-08-11 v1
摘要
寻找图像中的篡改区域是机器学习和计算机视觉领域的研究热点。尽管已提出许多图像篡改定位算法，但其中大多数仅关注不同颜色空间的RGB图像，而包含潜在篡改线索的频率信息常被忽略。在本工作中，提出了一种用于通用图像篡改定位的新型端到端双流边界感知网络（简称为TBNet），在统一框架中探索了RGB流、频率流和边界伪影定位。具体而言，我们首先设计了自适应频率选择模块（AFS），以自适应地选择合适的频率来挖掘不一致的统计信息，并消除冗余统计信息的干扰。然后，提出了自适应交叉注意力融合模块（ACF），以自适应地融合RGB特征和频率特征。最后，设计了边界伪影定位网络（BAL）来定位边界伪影，其参数由ACF的输出联合更新，其结果进一步输入到解码器中。因此，RGB流、频率流和边界伪影定位网络的参数被联合优化，其潜在的互补关系得到了充分挖掘。在图像篡改定位任务的四个公共基准（即CASIA1.0、COVER、Carvalho和In-The-Wild）上进行的广泛实验结果表明，所提出的TBNet在MCC和F1指标上均显著优于最先进的通用图像篡改定位方法。
引用
@article{arxiv.2108.04508,
title = {TBNet:Two-Stream Boundary-aware Network for Generic Image Manipulation Localization},
author = {Zan Gao and Chao Sun and Zhiyong Cheng and Weili Guan and Anan Liu and Meng Wang},
journal= {arXiv preprint arXiv:2108.04508},
year = {2021}
}