基于跨分支正交的面部深度伪造检测以提升泛化能力
计算机视觉与模式识别
2025-05-09 v1 人工智能
摘要
生成式AI技术的显著进步催生了一系列新型深度伪造类型，真实性实现了空前的飞跃，深度伪造正在成为执法机构和公众日益受到的困扰。特别是，我们注意到面部深度伪造在社会引发的误导、欺骗以及对多媒体内容信任的损失达到了令人警觉的水平，而现有的深度伪造检测器正跟不上深度伪造生成技术的进步速度。这主要是由于它们依赖特定的伪造痕迹，这限制了其检测新型深度伪造类型的泛化能力。为遏制恶意面部深度伪造的传播，本文提出了一种新策略，利用粗到细的空间信息、语义信息以及它们的相互作用，同时确保特征的区分性并减少模型化特征的冗余性。引入一种基于特征正交性的解耦策略，以确保分支级别和跨分支特征的解耦，这使我们能够在不增加特征空间复杂度或妥协泛化能力的情况下整合多个特征向量。在三个公开基准数据集上进行的全面实验表明，FaceForensics++、Celeb-DF和深度伪造检测挑战赛(DFDC)显示，这些设计选择使我们的方法在Celeb-DF数据集上以交叉数据集评估时比当前最先进方法提高了5%，在DFDC数据集上提高了7%。
引用
@article{arxiv.2505.04888,
title = {Cross-Branch Orthogonality for Improved Generalization in Face Deepfake Detection},
author = {Tharindu Fernando and Clinton Fookes and Sridha Sridharan and Simon Denman},
journal= {arXiv preprint arXiv:2505.04888},
year = {2025}
}