LEGO：面向生成器的 LoRA 赋能合成图像检测框架
计算机视觉与模式识别
2026-05-07 v1
摘要
生成技术的快速发展使得合成图像几乎与真实图像难以区分，从而迫切需要稳健的检测器来对抗虚假信息。然而，现有方法主要依赖于多个生成器共有的通用伪影特征。我们观察到，随着生成器多样性的增加，这些共有特征的重叠部分逐渐减少，这严重削弱了模型的泛化能力。相反，仅关注独特伪影往往会导致模型对特定伪造模式过拟合。为应对这一挑战，我们提出了 LEGO（面向生成器的 LoRA 赋能框架）。LEGO 的核心机制采用 MLP 来调制多个 LoRA（低秩自适应）块，每个块经过预训练以捕获特定生成器的独特伪影，随后进行基于注意力的特征融合。与寻求单一通用解决方案的传统方法不同，LEGO 通过将其训练过程分为两个阶段，将独特伪影提取委托给专门的 LoRA 模块。每个 LoRA 模块在单生成器数据集上单独训练以学习特定于生成器的表示，然后在混合数据集上训练 MLP 和注意力层以动态调节各模块的贡献。得益于其模块化且稳健的设计，LEGO 可以通过纳入新的 LoRA 模块自然扩展以适应新出现的下一代数据集，同时在每个训练阶段仅需少于 30,000 张训练图像（不到其训练数据的 10%）和仅 5 个 epoch，即可取得显著优于先前 SOTA 方法的性能。
引用
@article{arxiv.2605.04445,
title = {LEGO: LoRA-Enabled Generator-Oriented Framework for Synthetic Image Detection},
author = {Yutong Xiao and Ran Ran and Jiwei Wei and Shuchang Zhou and Ke Liu and Zheng Ziqiang and Caiyan Qin},
journal= {arXiv preprint arXiv:2605.04445},
year = {2026}
}
备注
10 pages,2 figures