Face2Parts: 探索粗到细的面部区域间依赖关系以实现通用深度伪造检测
计算机视觉与模式识别
2026-03-30 v1
摘要
多媒体数据，特别是图像和视频，是各种应用的重要组成部分，包括监控、视觉交互、生物识别、证据收集和广告。然而，业余或熟练的伪造者可以模拟它们来创建深度伪造（deepfakes），通常出于诽谤动机。为了应对这一挑战，已经开发了多种取证方法来确保内容的真实性。这些方法的有效性取决于其关注点，而操作的多样性带来了挑战。在本文中，我们分析了现有的取证方法，并观察到每种方法在通过关注特定面部区域（如框架、面部、嘴唇、眼睛或鼻子）来检测深度伪造痕迹方面具有独特的优势。基于这些见解，我们提出了一种名为 Face2Parts 的新型混合方法，该方法基于层次化特征表示（Hierarchical Feature Representation, HFR），利用粗到细的信息来改进深度伪造检测。所提出的方法分别从框架、面部和关键面部区域（即嘴唇、眼睛和鼻子）提取特征，以探索粗到细的关系。这种方法使我们能够利用通道注意力机制和深度三元组学习来捕捉面部区域之间的相互依赖关系。我们在基准深度伪造数据集上评估了所提出的方法，涵盖数据集内、数据集间和不同操作设置。Face2Parts 在 FF++ 上达到平均 AUC 98.42%，在 CDF1 上达到 79.80%，在 CDF2 上达到 85.34%，在 DFD 上达到 89.41%，在 DFDC 上达到 84.07%，在 DTIM 上达到 95.62%，在 PDD 上达到 80.76%，在 WLDR 上达到 100%。结果表明，我们的方法能够有效泛化，并展现出超越现有方法的良好性能。
引用
@article{arxiv.2603.26036,
title = {Face2Parts: Exploring Coarse-to-Fine Inter-Regional Facial Dependencies for Generalized Deepfake Detection},
author = {Kutub Uddin and Nusrat Tasnim and Byung Tae Oh},
journal= {arXiv preprint arXiv:2603.26036},
year = {2026}
}