AI媒体检测的部署差距：面向平台感知和视觉约束的对抗评估

近期AI媒体检测器在干净实验室评估下报告接近完美的性能，但其在现实部署条件下的鲁棒性仍未得到充分探索。在实际应用中，AI生成图像在被上传到在线平台之前会被调整大小、压缩、重新编码和视觉修改。我们认为这导致了实验室鲁棒性与现实可靠性之间的部署差距。本文引入了一个面向平台感知的对抗评估框架，用于AI媒体检测，该框架显式建模部署变换（如调整大小、压缩、截图式失真），并将扰动约束为视觉上可信的 meme 风格带状区域，而非整个图像噪声。在此威胁模型下，AUC约为0.99的检测器会经历显著的性能下降。每个图像的平台感知攻击将AUC降低至显著更低的水平，并在严格的视觉约束下实现高的虚假图像对真实图像的误分类率。我们进一步表明，即使在局部带约束下也存在普遍扰动，揭示了跨输入的共享脆弱方向。除了精度下降外，我们观察到在攻击下的检测器会出现显著的校准崩溃，即检测器变得自信地错误。我们的发现表明，干净条件下衡量的鲁棒性显著高估了部署鲁棒性。我们主张平台感知评估是未来AI媒体安全基准的必要组成部分，并发布我们的评估框架以促进标准化的鲁棒性评估。