穿透深度伪造：基于人类启发的多人脸检测框架
计算机视觉与模式识别
2025-07-22 v1 人工智能
摘要
多人脸深度伪造视频日益增多，常在自然社交场景中出现，这挑战了现有检测方法。大多数现有方法在单人脸检测方面表现优异，但在多人脸情景中难以应对，由于缺乏对关键情境线索的 awareness。在本工作中，我们发展了一种新方法，利用人类认知来分析和防御多人脸深度伪造视频。通过一系列人类研究，我们系统性地检验了人们在社交场景中如何检测深度伪造人脸。我们的定量分析揭示了人类依赖的四个关键线索：场景-运动一致性、人脸-人脸外观兼容性、人际注意力对齐和人脸-身体一致性。基于这些见解，我们引入了 \textsf{HICOM}，一个旨在检测多人脸场景中每个假人脸的新框架。在基准数据集上进行的广泛实验表明，\textsf{HICOM} 在数据集内检测准确率提高了 3.3%，在真实世界扰动下提高了 2.8%。此外，它在未见数据集上 outperform 现有方法 5.8%，显示示人类启发线索的泛化能力。\textsf{HICOM} 进一步通过纳入 LLM 提供人类可读解释来增强可解释性，使检测结果更透明且更具说服力。我们的工作为利用人类因素来增强深度伪造防御指明了方向。
引用
@article{arxiv.2507.14807,
title = {Seeing Through Deepfakes: A Human-Inspired Framework for Multi-Face Detection},
author = {Juan Hu and Shaojing Fan and Terence Sim},
journal= {arXiv preprint arXiv:2507.14807},
year = {2025}
}