统一的物理-数字人脸攻击检测
计算机视觉与模式识别
2024-02-01 v1
摘要
人脸识别（FR）系统可能遭受物理（即打印照片）和数字（即 DeepFake）攻击。然而，先前的相关工作很少同时考虑这两种情况。这意味着需要部署多个模型，从而增加计算负担。缺乏集成模型的主要原因是两个因素：（1）缺乏一个同时包含物理和数字攻击且具有身份一致性的数据集，即同一身份涵盖真实人脸和所有攻击类型；（2）鉴于这两种攻击之间存在较大的类内方差，难以学习一个紧凑的特征空间以同时检测两种攻击。为解决这些问题，我们收集了一个统一的物理-数字攻击数据集，称为 UniAttackData。该数据集包含 2 种和 12 种物理和数字攻击的 1,800 次参与，共计 29,706 个视频。然后，我们提出了一个基于视觉-语言模型的统一攻击检测框架，即 UniAttackDetection，它包含三个主要模块：教师-学生提示模块，分别专注于获取统一和特定知识；统一知识挖掘模块，旨在捕获全面特征空间；以及样本级提示交互模块，旨在掌握样本级语义。这三个模块无缝形成了一个鲁棒的统一攻击检测框架。在 UniAttackData 和其他三个数据集上的大量实验证明了我们的方法在统一人脸攻击检测上的优越性。
引用
@article{arxiv.2401.17699,
title = {Unified Physical-Digital Face Attack Detection},
author = {Hao Fang and Ajian Liu and Haocheng Yuan and Junze Zheng and Dingheng Zeng and Yanhong Liu and Jiankang Deng and Sergio Escalera and Xiaoming Liu and Jun Wan and Zhen Lei},
journal= {arXiv preprint arXiv:2401.17699},
year = {2024}
}
备注
12 pages, 8 figures