AI生成图像检测器的对抗鲁棒性
计算机视觉与模式识别
2025-06-04 v3 机器学习
摘要
生成式人工智能（GenAI）能力的快速进步伴随着一种令人担忧的滥用现象。特别是，以图像形式生成可信的虚假信息对公众对民主进程的信任构成了重大威胁。因此迫切需要开发可靠地区分真实与AI生成内容的工具。大多数检测方法基于训练识别 Forensic 痕迹的神经网络。本文展示了当前的SOTA分类器在真实世界条件下对对抗样本十分脆弱。通过大量实验，包括四种检测方法和五种攻击算法，我们显示攻击者可以在不了解检测器体系结构内部知识的情况下显著降低分类性能。值得注意的是，即使在图像因上传至社交媒体平台等方式被降采样后，大多数攻击仍然有效。在案例研究中，我们通过对HIVE——一种专有的在线GenAI媒体检测工具进行黑盒攻击，证明了这些鲁棒性挑战同样存在于商业工具中。此外，我们评估了使用鲁棒预训练模型生成特征的鲁棒性，并表明这会增加鲁棒性，但未达到良性输入的性能。这些结果，加上GenAI潜在的能力不断侵蚀公众信任，凸显了需要更多的研究和新的视角来防止滥用的紧迫性。
引用
@article{arxiv.2410.01574,
title = {Adversarial Robustness of AI-Generated Image Detectors in the Real World},
author = {Sina Mavali and Jonas Ricker and David Pape and Asja Fischer and Lea Schönherr},
journal= {arXiv preprint arXiv:2410.01574},
year = {2025}
}