超越面脸置换：基于扩散模型的数字人基准数据集的多模态深度伪造检测
计算机视觉与模式识别
2026-01-29 v5 人工智能
摘要
近年来，深度伪造技术的快速发展为公共安全提出了严峻挑战：基于扩散模型的数字人生成。与传统人脸操纵方法不同，这类模型可以通过多模态控制信号生成高度逼真且一致性强的视频。其灵活性和隐蔽性对现有检测策略构成严重挑战。为弥合这一差距，我们引入DigiFakeAV，这是一个基于扩散模型的大规模多模态数字人伪造数据集。我们系统性地构建了包含60,000个视频(840万帧)的数据集，涵盖多种国籍、肤色、性别和真实场景，显著提升了数据多样性和真实性。用户研究表明，DigiFakeAV的误识别率可达高达68%。此外，现有检测模型在我们的数据集上的性能显著下降，进一步凸显了其挑战性。为解决此问题，我们提出DigiShield，一种基于时空和跨模态融合的有效检测基线。通过联合建模视频的3D时空特征和音频的语义-声学特征，DigiShield在DigiFakeAV上实现了最先进(SOTA)性能，并在其他数据集上表现出强大的泛化能力。
关键词
引用
@article{arxiv.2505.16512,
title = {Beyond Face Swapping: A Diffusion-Based Digital Human Benchmark for Multimodal Deepfake Detection},
author = {Jiaxin Liu and Jia Wang and Saihui Hou and Min Ren and Huijia Wu and Long Ma and Renwang Pei and Zhaofeng He},
journal= {arXiv preprint arXiv:2505.16512},
year = {2026}
}