学习基于知识的提示以实现鲁棒的三维面具呈现攻击检测

三维面具呈现攻击检测对于保护人脸识别系统免受日益增长的三维面具攻击威胁至关重要。虽然现有方法大多利用多模态特征或远程光电容积描记(rPPG)信号来区分真实人脸与三维面具，但它们面临着重大挑战，例如多模态传感器带来的高成本和有限的泛化能力。与检测相关的文本描述提供了简洁、通用的信息，且获取成本低廉。然而，视觉-语言多模态特征在三维面具呈现攻击检测中的潜力尚未被探索。本文提出了一种新颖的基于知识的提示学习框架，以探索视觉-语言模型在三维面具呈现攻击检测中的强大泛化能力。具体而言，我们的方法将知识图谱中的实体和三元组融入提示学习过程，生成细粒度、任务特定的显式提示，从而有效利用预训练视觉-语言模型中嵌入的知识。此外，考虑到不同的输入图像可能侧重不同的知识图谱元素，我们引入了一个基于注意力机制的视觉特定知识过滤器，以根据视觉上下文精炼相关元素。此外，我们利用因果图理论对提示学习过程的洞察，进一步增强我们方法的泛化能力。在训练过程中，采用了一种虚假相关性消除范式，该范式利用基于知识的文本特征的指导，移除与类别无关的局部图像块，从而促进学习与类别相关的局部块对齐的泛化因果提示。实验结果表明，所提出的方法在基准数据集上实现了最先进的场景内和跨场景检测性能。