多上下文与频率聚合网络用于深度伪造检测
计算机视觉与模式识别
2024-08-06 v1 多媒体
摘要
深度伪造检测面临日益增大的挑战，因为生成模型在开发大规模和多样化的深度伪造技术方面取得了快速进展。近期进展依赖于引入来自空间或频率域的启发式特征，而非在 backbone 中建模通用的伪造特征。为此，我们转向基于空间检测器和频率检测器两种直观先验的 backbone 设计，即学习对真实和伪造样本具有判别力的鲁棒空间属性和频率分布。为此，我们提出了一个高效的面部伪造检测网络，称为 MkfaNet，包含两个核心模块。对于空间上下文，我们设计了一个多核聚合器，用于自适应选择由多个卷积提取的组织特征，以建模真实人脸与伪造人脸之间的细微差异。对于频率成分，我们提出了一个多频率聚合器，通过自适应重新加权高频和低频特征来处理不同的频率带。在七个流行的深度伪造检测基准数据集上进行了全面的实验，表明我们提出的 MkfaNet 变体在保持参数使用效率的同时，在 within-domain 和 across-domain 评估中均实现了卓越的性能。
引用
@article{arxiv.2408.01668,
title = {Multiple Contexts and Frequencies Aggregation Network forDeepfake Detection},
author = {Zifeng Li and Wenzhong Tang and Shijun Gao and Shuai Wang and Yanxiang Wang},
journal= {arXiv preprint arXiv:2408.01668},
year = {2024}
}