探索多视图像素对比用于通用且鲁棒的图像伪造定位
计算机视觉与模式识别
2024-06-21 v1 密码学与安全
摘要
图像伪造定位，旨在分割图像中被篡改的区域，是一项基础但具有挑战性的数字取证任务。虽然一些基于深度学习的取证方法取得了令人印象深刻的结果，但它们直接学习像素到标签的映射，而没有充分利用特征空间中像素之间的关系。为了解决这一缺陷，我们提出了一种用于图像伪造定位的多视图像素级对比算法（MPC）。具体来说，我们首先使用监督对比损失预训练骨干网络，以从图像内、跨尺度和跨模态的角度建模像素关系。这旨在增加类内紧凑性和类间可分性。然后，使用交叉熵损失微调定位头，从而得到更好的像素定位器。MPC 在三个不同规模的训练数据集上进行训练，以便与现有的图像伪造定位算法进行全面且公平的比较。在小型、中型和大型训练数据集上进行的大量实验表明，与最先进的方法相比，所提出的 MPC 实现了更高的泛化性能和对抗后处理的鲁棒性。代码将在 https://github.com/multimediaFor/MPC 提供。
引用
@article{arxiv.2406.13565,
title = {Exploring Multi-view Pixel Contrast for General and Robust Image Forgery Localization},
author = {Zijie Lou and Gang Cao and Kun Guo and Haochen Zhu and Lifang Yu},
journal= {arXiv preprint arXiv:2406.13565},
year = {2024}
}