迈向跨生成模型泛化的通用假图检测器
计算机视觉与模式识别
2024-04-02 v2 机器学习
摘要
随着生成模型以极快速度激增，对通用假图检测器的需求日益增长。在本工作中，我们首先表明，现有的由训练深度网络进行真/假分类构成的范式，在训练用于检测 GAN 假图时，无法检测来自更新种类生成模型的假图。经分析，我们发现所得分类器被非对称地调谐以检测使图像为假的模式。真实类成为一个汇集类，容纳任何非假的东西，包括训练时不可见的模型生成的图片。基于这一发现，我们提出不进行学习的真/假分类；即，使用未显式训练以区分真图与假图的特征空间。我们使用最近邻与线性探测作为该思想的具体实现。当获得大型预训练视觉-语言模型的特征空间时，最近邻分类这一极简基线在检测来自广泛生成模型的假图上展现出令人惊讶的良好泛化能力；例如，在未见过的扩散与自回归模型上测试时，其 mAP 较 SOTA 提升 +15.07，准确率提升 +25.90%。
引用
@article{arxiv.2302.10174,
title = {Towards Universal Fake Image Detectors that Generalize Across Generative Models},
author = {Utkarsh Ojha and Yuheng Li and Yong Jae Lee},
journal= {arXiv preprint arXiv:2302.10174},
year = {2024}
}