通过层次化提示调谐评估统一人脸攻击检测
计算机视觉与模式识别
2025-07-15 v3
摘要
PAD 和 FFD 被提出用于保护面部数据免受物理介质-based Presentation Attacks 和数字编辑-based DeepFakes 两种攻击。然而，孤立训练这两种模型显著增加了对未知攻击的脆弱性，给部署环境带来挑战。缺乏能够同时处理这两种类别攻击的统一人脸攻击检测模型，主要归因于两个因素：(1) 缺乏足够的基准数据集，使模型无法充分探索。现有的 UAD 数据集仅包含有限的攻击类型和样本，导致模型受限于处理丰富的先进威胁。鉴于此，我们通过一种可解释的层次化方式，提出了目前最为广泛和精细的伪造技术集合，称为 UniAttackDataPlus。我们的 UniAttackData+ 包含 2,875 个身份及其 54 种对应伪造样本，总计 697,347 个视频。(2) 缺乏可信赖的分类标准。当前方法试图在相同的语义空间中探索任意标准，当遭遇多样化攻击时，此类标准不存在。因此，我们提出了一种基于视觉-语言模型的层次化提示调谋框架，通过从不同语义空间中自适应探索多个分类标准。具体而言，我们构建了 VP-Tree 来层次化探索各种分类规则。随后，通过自适应修剪提示，模型可以在粗到细的层次结构中选择最合适的提示，以引导编码器在不同层级提取判别性特征。最后，为帮助模型理解视觉空间中的分类标准，我们提出了 DPI 模块，将视觉提示投影到文本编码器，以获得更准确的语义表示。
引用
@article{arxiv.2505.13327,
title = {Benchmarking Unified Face Attack Detection via Hierarchical Prompt Tuning},
author = {Ajian Liu and Haocheng Yuan and Xiao Guo and Hui Ma and Wanyi Zhuang and Changtao Miao and Yan Hong and Chuanbiao Song and Jun Lan and Qi Chu and Tao Gong and Yanyan Liang and Weiqiang Wang and Jun Wan and Xiaoming Liu and Zhen Lei},
journal= {arXiv preprint arXiv:2505.13327},
year = {2025}
}