无需深度伪造的深度伪造检测:通过合成频率模式注入实现泛化
计算机视觉与模式识别
2024-03-21 v1 人工智能
摘要
深度伪造检测器通常在大规模原始图像和生成图像数据集上训练,导致泛化能力有限;它们擅长识别训练中遇到的方法生成的深度伪造,但难以应对未知技术生成的伪造。本文介绍了一种旨在显著增强深度伪造检测器泛化能力的学习方法。我们的方法灵感来源于图像生成过程在频域中始终引入的独特“指纹”。这些指纹表现为结构化和可清晰识别的频率模式。我们提出仅使用原始图像进行训练,并在部分图像中注入精心设计的频率模式,以模拟各种深度伪造生成技术的效果,而不针对任何特定技术。这些合成模式基于通用形状、网格或光晕。我们使用多种架构在25种不同的生成方法上评估了我们的方法。使用我们的方法训练的模型能够实现最先进的深度伪造检测,并展现出相比先前方法更优越的泛化能力。实际上,它们不依赖于任何特定的生成技术,能够有效识别深度伪造,无论其生成方式如何。
引用
@article{arxiv.2403.13479,
title = {Deepfake Detection without Deepfakes: Generalization via Synthetic Frequency Patterns Injection},
author = {Davide Alessandro Coccomini and Roberto Caldelli and Claudio Gennaro and Giuseppe Fiameni and Giuseppe Amato and Fabrizio Falchi},
journal= {arXiv preprint arXiv:2403.13479},
year = {2024}
}