面向通用AI生成图像检测的正交子空间分解
计算机视觉与模式识别
2025-05-21 v4
摘要
AI生成图像（AI-generated images, AIGIs）如自然图像或人脸图像日益重要且具有检测挑战。本文从新视角出发，挖掘AIGI检测泛化失败的原因，称为“非对称现象”（asymmetry phenomenon），即训练不足的检测器倾向于过拟合有限且单调的伪造模式，导致特征空间高度受限和低秩，这严重限制了表达力和泛化能力。一种可能的解决方法是融合视觉基础模型（vision foundation models）中预训练知识（更高秩），以扩充特征空间，缓解模型对伪造的过拟合。为此，我们采用奇异值分解（Singular Value Decomposition, SVD）将原始特征空间分解为两个正交子空间。通过冻结主成分仅适应剩余成分，可保留预训练知识的同时学习伪造模式。与现有全参数和LoRA等参数调优方法相比，我们显式确保正交性，实现特征空间的更高秩，有效最小化过拟合并提升泛化能力。我们最终识别出一个关键洞见：本方法隐式学习了一种关键先验，即伪造图像实际上是从真实图像派生的，表明其存在层次关系而非独立性。我们认为建模这一先验对于实现卓越的泛化至关重要。我们的代码已公开于GitHub。
引用
@article{arxiv.2411.15633,
title = {Orthogonal Subspace Decomposition for Generalizable AI-Generated Image Detection},
author = {Zhiyuan Yan and Jiangming Wang and Peng Jin and Ke-Yue Zhang and Chengchun Liu and Shen Chen and Taiping Yao and Shouhong Ding and Baoyuan Wu and Li Yuan},
journal= {arXiv preprint arXiv:2411.15633},
year = {2025}
}