中文

GLFF:面向 AI 合成图像检测的全局与局部特征融合

计算机视觉与模式识别 2023-09-06 v7

摘要

随着深度生成模型(如生成对抗网络与扩散模型)的快速发展,AI 合成图像质量已高到人类难以将其与真实图像区分。尽管现有检测方法在特定评测设置下(如来自已知模型的图片或未经历真实世界后处理的图片)表现出高性能,但在真实场景——测试图像可能由更强大的生成模型产生或结合多种后处理操作——中往往严重退化。为此,我们提出全局与局部特征融合(Global and Local Feature Fusion, GLFF)框架,通过结合整图多尺度全局特征与来自信息块精炼的局部特征,学习丰富且具判别力的表示以用于 AI 合成图像检测。GLFF 融合两支信息:全局支提取多尺度语义特征,局部支选取信息块以提取精细局部伪影。由于缺乏模拟真实应用的合成图像评测数据集,我们进一步构建了具有挑战性的假图数据集 DeepFakeFaceForensics(DF3^3),包含 6 种最先进生成模型与多种后处理技术以逼近真实场景。实验结果表明,我们的方法在提出的 DF3^3 数据集及另外三个开源数据集上均优于最先进方法。

关键词

引用

@article{arxiv.2211.08615,
  title  = {GLFF: Global and Local Feature Fusion for AI-synthesized Image Detection},
  author = {Yan Ju and Shan Jia and Jialing Cai and Haiying Guan and Siwei Lyu},
  journal= {arXiv preprint arXiv:2211.08615},
  year   = {2023}
}

备注

13 pages, 6 figures, 8 tables