提升AI生成图像检测的可解释性与鲁棒性
计算机视觉与模式识别
2024-06-24 v1
摘要
随着生成模型能力的提升，人工内容检测正在成为越来越重要且具有挑战性的任务。然而，所有流行的此类方法都存在跨域和跨生成模型的泛化性差的问题。本文聚焦于AI生成图像（AIGI）检测器的鲁棒性。我们分析了基于冻结CLIP嵌入的现有SOTA AIGI检测方法，并展示了如何对其进行解释，从而阐明了由各种AI生成器生成的图像与真实图像之间的差异。随后，我们提出两种改进鲁棒性的方法：一种基于移除嵌入向量的有害成分，另一种基于选择图像编码器模型中表现最佳的注意力头。我们的方法在跨模型迁移方面将平均OOD分类得分提高了最高可达6%。我们还提出了一个新的AIGI检测数据集，并在评估中使用它；我们相信该数据集将帮助推动进一步的研究。该数据集和代码均作为补充材料提供。
引用
@article{arxiv.2406.15035,
title = {Improving Interpretability and Robustness for the Detection of AI-Generated Images},
author = {Tatiana Gaintseva and Laida Kushnareva and German Magai and Irina Piontkovskaya and Sergey Nikolenko and Martin Benning and Serguei Barannikov and Gregory Slabaugh},
journal= {arXiv preprint arXiv:2406.15035},
year = {2024}
}