Guard Me If You Know Me：保护特定人脸身份免受 Deepfake 攻击
计算机视觉与模式识别
2025-12-04 v2
摘要
在数字时代，保护个人身份免受 Deepfake 攻击日益关键，尤其是对于面部易于获取且频繁成为目标的政要与公众人物。现有大多数 Deepfake 检测方法聚焦于通用场景，往往忽略了已知人脸身份的宝贵先验知识，例如已具备真实面部数据的“VIP 个体”。在本文中，我们提出了 \textbf{VIPGuard}，这是一个统一的多模态框架，旨在捕获给定身份细粒度且全面的面部表征，将其与潜在伪造或相似面部进行比较，并基于这些比较进行推理以做出准确且可解释的预测。具体而言，我们的框架包含三个主要阶段。首先，微调一个多模态大语言模型（MLLM）以学习详细且结构化的面部属性。其次，我们进行身份级别的判别学习，使模型能够区分高度相似面部之间的细微差异，包括真实与伪造变体。最后，我们引入用户特定定制，对目标人脸身份的独特特征进行建模，并通过 MLLM 进行语义推理，以实现个性化且可解释的 Deepfake 检测。我们的框架相比以往的检测工作展现出明显优势：传统检测器主要依赖低级视觉线索且无法提供人类可理解的解释，而其他基于 MLLM 的模型往往缺乏对特定人脸身份的详细理解。为了便于评估我们的方法，我们构建了一个名为 \textbf{VIPBench} 的综合身份感知基准，用于个性化 Deepfake 检测，其中包含最新的 7 种换脸和 7 种全脸合成技术用于生成。代码可在 https://github.com/KQL11/VIPGuard 获取。
引用
@article{arxiv.2505.19582,
title = {Guard Me If You Know Me: Protecting Specific Face-Identity from Deepfakes},
author = {Kaiqing Lin and Zhiyuan Yan and Ke-Yue Zhang and Li Hao and Yue Zhou and Yuzhen Lin and Weixiang Li and Taiping Yao and Shouhong Ding and Bin Li},
journal= {arXiv preprint arXiv:2505.19582},
year = {2025}
}