FreqBlender:通过频率混合增强深度伪造检测
计算机视觉与模式识别
2024-11-26 v3
摘要
生成合成假脸(即伪造假脸)是提高深度伪造检测泛化能力的有效方法。现有方法通常通过空间域混合真实或假脸来生成这些脸部图像。尽管这些方法取得了进展,但忽略了伪造假脸中频率分布的模拟,限制了对通用造假痕迹的深入学习。为此,本文引入一种新方法——FreqBlender,通过频率知识混合来生成伪造假脸。具体地,我们研究主要频率成分,提出一种频率解析网络(Frequency Parsing Network),自适应划分与造假痕迹相关的频率成分。随后将来自假脸的频率知识混合到真实脸部,以生成伪造假脸。由于不存在频率成分的真实标签,我们描述了一套专门的训练策略,利用不同频率知识之间的内在关联来指导学习过程。实验结果表明,我们的方法在增强深度伪造检测方面有效且具有推广性,可作为其他方法的即插即用策略。
引用
@article{arxiv.2404.13872,
title = {FreqBlender: Enhancing DeepFake Detection by Blending Frequency Knowledge},
author = {Hanzhe Li and Jiaran Zhou and Yuezun Li and Baoyuan Wu and Bin Li and Junyu Dong},
journal= {arXiv preprint arXiv:2404.13872},
year = {2024}
}
备注
Accepted by NeurIPS 2024