仅使用真实人脸图像学习未知欺骗提示以实现泛化人脸反欺骗

人脸反欺骗是确保人脸识别系统安全性的关键技术。然而，其跨多种场景的泛化能力仍然是一个重大挑战。本文将有限的泛化能力归因于两个关键因素：由外部数据采集差异引起的协变量偏移，以及由新兴攻击类型的实质性差异导致的语义偏移。为同时应对这两个挑战，我们提出了一种仅依赖单一源域的真实人脸图像来学习未知欺骗提示的新方法。我们的方法通过利用视觉-语言模型中嵌入的通用知识，为真实人脸和潜在的未知欺骗攻击生成文本提示，从而增强模型泛化到未见目标域的能力。具体而言，我们引入了一个多样化欺骗提示优化框架来学习有效的提示。该框架将未知欺骗提示约束在一个宽松的先验知识空间内，同时最大化它们与真实人脸图像的距离。此外，它强制不同欺骗提示之间保持语义独立性，以捕捉广泛的欺骗模式。在九个数据集上的实验结果表明，学习到的提示有效地迁移了视觉-语言模型的知识，在不使用任何欺骗人脸图像的情况下，实现了针对未见目标域中各种未知攻击类型的最先进泛化能力。