面向通用深度伪造检测的空间频率协作学习与层次化跨模态融合
计算机视觉与模式识别
2025-04-25 v1
摘要
深度生成模型的快速演化对深度伪造检测构成严峻挑战，因为基于特定伪造痕迹训练的检测器在遇到未见伪造时常出现显著性能下降。虽然已有方法主要依赖空间域分析，频率域操作主要局限于特征级增强，未充分利用频率天然痕迹和空间-频率相互作用。为此，我们提出一种集成多尺度空间-频率分析的新型检测框架，以实现通用深度伪造检测。该框架包含三个关键组件：(1) 结合块状离散余弦变换和级联多尺度卷积的局部谱特征提取管线，用于捕捉细微谱痕迹；(2) 利用尺度不变微分累加的全局谱特征提取管线，用于识别整体伪造分布模式；(3) 融合浅层注意力增强和深层动态调制的多阶段跨模态融合机制，用于建模空间-频率相互作用。广泛的基准测试评估表明，我们的方法在准确率和通用性方面均优于当前最先进的深度伪造检测方法。
引用
@article{arxiv.2504.17223,
title = {Towards Generalizable Deepfake Detection with Spatial-Frequency Collaborative Learning and Hierarchical Cross-Modal Fusion},
author = {Mengyu Qiao and Runze Tian and Yang Wang},
journal= {arXiv preprint arXiv:2504.17223},
year = {2025}
}