E3:面向合成图像检测器适应新生成器的专家嵌入器集成(使用有限数据)
计算机视觉与模式识别
2024-04-17 v2 人工智能
机器学习
摘要
随着生成式人工智能的快速发展,新的合成图像生成器不断涌现。传统检测方法在适应这些生成器时面临两个主要挑战:来自新技术的合成图像的取证痕迹可能与训练时学到的痕迹大相径庭,并且这些新生成器的数据访问通常有限。为了解决这些问题,我们引入了专家嵌入器集成(E3),一种用于更新合成图像检测器的新型持续学习框架。E3能够使用最少的训练数据准确检测来自新出现生成器的图像。我们的方法首先通过迁移学习开发一套专家嵌入器,每个嵌入器专门针对特定生成器的取证痕迹。然后,由专家知识融合网络联合分析所有嵌入,以产生准确可靠的检测决策。我们的实验表明,E3优于现有的持续学习方法,包括那些专门为合成图像检测开发的方法。
引用
@article{arxiv.2404.08814,
title = {E3: Ensemble of Expert Embedders for Adapting Synthetic Image Detectors to New Generators Using Limited Data},
author = {Aref Azizpour and Tai D. Nguyen and Manil Shrestha and Kaidi Xu and Edward Kim and Matthew C. Stamm},
journal= {arXiv preprint arXiv:2404.08814},
year = {2024}
}
备注
11 pages, 4 figures, To be published in CVPRWMF24