FAMSeC：基于少量样本的通用 AI 生成图像检测方法
计算机视觉与模式识别
2024-10-18 v1
摘要
生成式 AI 的快速增长使互联网充满了 AI 生成图像，引发安全担忧，增加了可靠检测方法的需求。此类检测的首要要求是通用性，通常通过在众多来自不同模型的假图像上进行训练来实现。然而，现实限制（如闭源模型和访问受限）常导致训练样本有限。因此，在有限样本下训练通用检测器对现代检测机制至关重要。为此，我们提出了 FAMSeC，一种基于 LoRA 构建的 Forgery Awareness Module 和语义特征引导的对比学习策略的通用 AI 生成图像检测方法。为有效从有限样本中学习并防止过拟合，我们开发了基于 LoRA 的 Forgery Awareness Module (FAM)，保持预训练特征的通用性。此外，为配合 FAM，我们设计了语义特征引导的对比学习策略 (SeC)，使 FAM 更专注于 real/fake 图像之间的差异，而非样本本身的特征。实验表明，FAMSeC 在所有指标上均优于最先进的方法，仅用 0.56% 的训练样本即可将分类准确率提高 14.55%。
引用
@article{arxiv.2410.13156,
title = {FAMSeC: A Few-shot-sample-based General AI-generated Image Detection Method},
author = {Juncong Xu and Yang Yang and Han Fang and Honggu Liu and Weiming Zhang},
journal= {arXiv preprint arXiv:2410.13156},
year = {2024}
}