HyperDet：通过生成和融合混合超LoRA实现合成图像的泛化检测
计算机视觉与模式识别
2024-10-10 v1
摘要
各种生成式视觉模型的出现最近使得合成视觉上逼真的图像成为可能，这凸显了有效检测这些生成图像与真实照片的迫切需要。尽管该领域取得了进展，但现有的检测方法通常难以准确识别由不同生成模型生成的合成图像。在这项工作中，我们引入了一个新颖且具有泛化能力的检测框架，称为 HyperDet，它创新性地从一组功能不同且轻量级的专家检测器中捕获并整合共享知识。HyperDet 利用一个大型预训练视觉模型来提取通用检测特征，同时捕获并增强任务特定特征。为了实现这一点，HyperDet 首先将 SRM 滤波器分为五个不同的组，以根据其不同的功能和复杂性有效地捕获不同级别的像素伪影。然后，HyperDet 利用一个超网络生成具有不同嵌入参数的 LoRA 模型权重。最后，我们融合 LoRA 网络以形成一个高效的模型集成。此外，我们提出了一个新的目标函数，该函数有效地平衡了像素伪影和语义伪影。在 UnivFD 和 Fake2M 数据集上的大量实验证明了我们方法的有效性，达到了最先进的性能。此外，我们的工作为基于预训练大型视觉模型建立可泛化的特定领域假图像检测器开辟了一条新途径。
引用
@article{arxiv.2410.06044,
title = {HyperDet: Generalizable Detection of Synthesized Images by Generating and Merging A Mixture of Hyper LoRAs},
author = {Huangsen Cao and Yongwei Wang and Yinfeng Liu and Sixian Zheng and Kangtao Lv and Zhimeng Zhang and Bo Zhang and Xin Ding and Fei Wu},
journal= {arXiv preprint arXiv:2410.06044},
year = {2024}
}