一种轻量且可解释的深度伪造检测框架
计算机视觉与模式识别
2025-01-22 v1 人工智能
摘要
近期真实逼真的深度伪造内容的创建与传播已对社会生活、民事纠纷及法律产生严重威胁。包括名人人格诽谤、选举操纵以及深度伪造作为法庭证据等潜在后果，都可能由此引发。基于现代框架（如PyTorch或TensorFlow）的开源训练模型、诸如FaceApp和REFACE等视频编辑应用，以及经济可及的计算基础设施，使得深度伪造的制造变得相对容易。大多数现有检测器专注于检测面部置换、唇同步或木偶式深度伪造，但鲜有统一的框架用于检测这三类深度伪造。本文提出一种统一框架，利用我们提出的混合面部关键点特征与新颖的心率特征的融合能力，实现对所有类型深度伪造的检测。我们提出新的心率特征并将其与面部关键点特征进行融合，以更好地从假性视频中提取人脸伪造特征，同时捕获原始视频中自然的变化。我们使用这些特征训练一个轻量级的XGBoost分类器，以区分深度伪造视频与真实视频。我们在包含所有类型深度伪造的世界领导人数据集（WLDR）上进行评估。实验结果表明，所提框架在与比较深度伪造检测方法的对比下，实现了优异的检测性能。与一种深度学习模型候选者（LSTM-FCN）的性能对比显示，所提模型虽与之相似，却更具可解释性。
引用
@article{arxiv.2501.11927,
title = {A Lightweight and Interpretable Deepfakes Detection Framework},
author = {Muhammad Umar Farooq and Ali Javed and Khalid Mahmood Malik and Muhammad Anas Raza},
journal= {arXiv preprint arXiv:2501.11927},
year = {2025}
}