ASAP：大规模 AI 生成图像模式的可解释分析与摘要

生成式图像模型已成为一种用于生成逼真图像的前沿技术。尽管具有潜在益处，人们对其滥用的担忧日益增加，特别是在生成可能引发重大伦理、法律和社会问题的欺骗性图像方面。因此，日益增长的需求要求赋能用户以有效辨别和理解 AI 生成图像的模式。为此，我们开发了 ASAP，一个交互式可视化系统，能够自动提取 AI 生成图像的独特模式，并允许用户通过各种视图交互式地探索它们。为了揭示伪造模式，ASAP 引入了一种改编自 CLIP 的新型图像编码器，该编码器将图像转换为紧凑的“蒸馏”表示，并丰富以区分真实与伪造图像的信息。这些表示生成梯度，并将其反向传播至 CLIP transformer 块的注意力图。此过程量化了每个像素对图像真实性或伪造性的相对重要性，从而暴露关键的欺骗性模式。ASAP 通过多个协同可视化支持对这些模式的大规模交互式分析。这包括带有创新单元字形的表示概览，以辅助探索和定性评估海量图像中的伪造模式，以及一个模式视图，用于显示图像中指示真实性的模式并量化其影响。ASAP 支持分析具有最新架构的尖端生成模型，包括基于 GAN 的模型（如 proGAN）和扩散模型（如 latent diffusion model）。我们通过使用多个伪造图像检测基准数据集的两个使用场景展示了 ASAP 的实用性，揭示了其识别和理解 AI 生成图像中隐藏模式的能力，特别是在检测由基于扩散技术生成的伪造人脸方面。