MMFusion：结合图像取证滤波器进行视觉篡改检测与定位
计算机视觉与模式识别
2024-10-18 v2
摘要
最近的图像篡改定位和检测技术通常利用由噪声敏感滤波器（如SRM或Bayar卷积）产生的取证痕迹。在本文中，我们展示了此类方法中常用的不同滤波器擅长揭示不同类型的篡改，并提供互补的取证痕迹。因此，我们探索了组合这些滤波器输出的方法，以利用所产生痕迹的互补性来进行图像篡改定位和检测（IMLD）。我们评估了两种不同的组合方法：一种是从每个取证滤波器产生独立特征然后融合（称为后期融合），另一种是早期混合不同模态输出并产生组合特征（称为早期融合）。我们将后者用作特征编码机制，并伴随一种包含特征重新加权的新的解码机制，以构建所提出的MMFusion架构。我们证明MMFusion在图像篡改定位和检测方面均取得了有竞争力的性能，在多个图像和视频数据集上优于最先进的模型。我们还基于最近的AI可解释性度量，进一步研究了MMFusion中每个取证滤波器在处理不同类型篡改时的贡献。
引用
@article{arxiv.2312.01790,
title = {MMFusion: Combining Image Forensic Filters for Visual Manipulation Detection and Localization},
author = {Kostas Triaridis and Konstantinos Tsigos and Vasileios Mezaris},
journal= {arXiv preprint arXiv:2312.01790},
year = {2024}
}
备注
This version (v2): extended journal version, submitted for publication. Initial version (v1), arXiv:2312.01790v1 , presented and published in the 30th Int. Conf. on MultiMedia Modeling (MMM 2024), Amsterdam, NL, Jan.-Feb. 2024. This is the "submitted manuscript" version