DGS-Net：基于蒸馏引导的梯度手术用于 AI 生成图像检测的 CLIP 微调
计算机视觉与模式识别
2026-05-18 v4
摘要
生成模型如 GAN 和扩散模型的快速发展导致 AI 生成图像在 misinformation、隐私侵犯和数字媒体信任度方面的担忧日益增加。尽管大规模多模态模型如 CLIP 为检测合成内容提供了强大的可迁移表示，但对其进行微调常会导致灾难性遗忘，这会损害预训练的先验知识并限制跨域泛化。为此，我们提出了蒸馏引导梯度手术网络（DGS-Net），一种新型框架，在保持可迁移的预训练先验的同时抑制任务不相关组件。具体而言，我们引入了梯度空间分解，将优化过程中有害和有益的下降方向分离。通过将任务梯度投影到有害方向的正交补上，并与来自冻结 CLIP 编码器的蒸馏有益方向对齐，DGS-Net 实现了先验保存和无关抑制的统一优化。在 50 个生成模型上的广泛实验表明，我们的方法相对于最先进的方法平均提升 6.6，实现了卓越的检测性能和跨不同生成技术的泛化能力。
引用
@article{arxiv.2511.13108,
title = {DGS-Net: Distillation-Guided Gradient Surgery for CLIP Fine-Tuning in AI-Generated Image Detection},
author = {Jiazhen Yan and Ziqiang Li and Fan Wang and Boyu Wang and Ziwen He and Zhangjie Fu},
journal= {arXiv preprint arXiv:2511.13108},
year = {2026}
}
备注
Accepted by ICML 2026 Spotlight