用于 AI 生成图像跨域检测的伪影特征净化
计算机视觉与模式识别
2024-03-19 v1
摘要
在 AIGC 时代，扩散模型等视觉内容生成技术的快速发展给社会带来了潜在的安全风险。现有的生成图像检测方法在面对域外生成器和图像场景时，会出现性能下降。为了缓解这一问题，我们提出了伪影净化网络（APN），通过显式和隐式净化过程促进从生成图像中提取伪影。对于显式过程，提出了一种可疑频带提议方法和一种空间特征分解方法来提取与伪影相关的特征。对于隐式过程，提出了一种基于互信息估计的训练策略，以进一步净化与伪影相关的特征。实验表明，在跨生成器检测中，APN 在 GenImage 数据集上的平均准确率比之前的 10 种方法高出 5.6% ~ 16.4%，在 DiffusionForensics 数据集上高出 1.7% ~ 50.1%。在跨场景检测中，APN 保持了其高性能。通过可视化分析，我们发现所提出的方法提取了灵活的伪造模式，并浓缩了稀释在不相关特征中的伪造信息。我们还发现，APN 在跨生成器和场景中所关注的伪影特征具有全局性和多样性。代码将在 GitHub 上提供。
引用
@article{arxiv.2403.11172,
title = {Artifact Feature Purification for Cross-domain Detection of AI-generated Images},
author = {Zheling Meng and Bo Peng and Jing Dong and Tieniu Tan},
journal= {arXiv preprint arXiv:2403.11172},
year = {2024}
}
备注
This work is under consideration at Computer Vision and Image Understanding