使用软对比损失迁移真实图像特征以检测伪造图像
计算机视觉与模式识别
2025-03-04 v2 密码学与安全
摘要
在过去几年中，由不同生成模型合成的伪造图像中的伪影模式一直不一致，导致先前依赖识别真假之间细微差异的研究失效。在我们的初步实验中，我们发现伪造图像中的伪影总是随着生成模型的发展而变化，而自然图像则表现出稳定的统计特性。在本文中，我们采用仅由真实图像共享的自然痕迹作为分类器的附加目标。具体而言，我们引入了一个用于自然痕迹提取的自监督特征映射过程，并开发了一种基于软对比损失的迁移学习，以使这些特征更接近真实图像而远离伪造图像。这促使检测器基于图像与自然痕迹的接近程度做出决策。为进行全面实验，我们构建了一个包含 GANs 和扩散模型等生成模型的高质量多样化数据集，以评估在泛化未知伪造技术和抵御不同变换方面的有效性。实验结果表明，我们提出的方法给出了 96.2% 的 mAP，显著优于基线。在流行商业平台上进行的大量实验揭示，我们提出的方法实现了超过 78.4% 的准确率，突显了其在现实世界应用部署中的实用性。
引用
@article{arxiv.2403.16513,
title = {Transfer Learning of Real Image Features with Soft Contrastive Loss for Fake Image Detection},
author = {Ziyou Liang and Weifeng Liu and Run Wang and Mengjie Wu and Boheng Li and Yuyang Zhang and Lina Wang and Xinyi Yang},
journal= {arXiv preprint arXiv:2403.16513},
year = {2025}
}