CFPL-FAS：面向可泛化人脸活体检测的无类别提示学习
计算机视觉与模式识别
2024-03-22 v1
摘要
基于域泛化 (DG) 的人脸活体检测 (FAS) 旨在提升模型在未见域上的性能。现有方法要么依赖域标签来对齐域不变特征空间，要么从整个样本中解耦出可泛化特征，这不可避免地导致语义特征结构的扭曲，并实现有限的泛化。在这项工作中，我们利用 CLIP 等大规模视觉语言模型 (VLM)，并利用文本特征动态调整分类器的权重，以探索可泛化的视觉特征。具体来说，我们为 DG FAS 提出了一种新颖的无类别提示学习 (CFPL) 范式，该范式利用两个轻量级 Transformer，即内容 Q-Former (CQF) 和风格 Q-Former (SQF)，通过使用一组可学习的查询向量，分别学习以内容和风格特征为条件的、不同的语义提示。因此，可泛化的提示可以通过两项改进来学习：(1) 引入提示-文本匹配 (PTM) 监督，以确保 CQF 学习到最能体现内容描述的视觉表示。(2) 提出多样化风格提示 (DSP) 技术，通过混合实例特定风格之间的特征统计量，使风格提示的学习多样化。最后，学习到的文本特征通过设计的提示调制 (PM) 将视觉特征调制为泛化特征。大量实验表明，CFPL 是有效的，并且在多个跨域数据集上优于最先进的方法。
引用
@article{arxiv.2403.14333,
title = {CFPL-FAS: Class Free Prompt Learning for Generalizable Face Anti-spoofing},
author = {Ajian Liu and Shuai Xue and Jianwen Gan and Jun Wan and Yanyan Liang and Jiankang Deng and Sergio Escalera and Zhen Lei},
journal= {arXiv preprint arXiv:2403.14333},
year = {2024}
}
备注
11 pages, 4 figures