基于内容感知复合提示工程的面部反欺诊域泛化
计算机视觉与模式识别
2025-04-08 v1
摘要
面部反欺诊（FAS）中的域泛化（DG）挑战在于域特定信号对细微欺诈线索具有显著干扰。最近开发了一些基于 CLIP 的算法，通过调整视觉分类器的权重来缓解这种干扰。然而，我们对这类有监督提示工程进行分析后发现，对于 DG FAS 存在两个不足：(1) 面部类别（如真实或伪造）在 CLIP 模型中没有语义，难以学习准确的类别描述；(2) 单一形式的提示无法描绘各种类型的欺诈。本文提出了一种内容感知复合提示工程（CCPE），生成实例感知的复合提示，包括固定模板和可学习提示。具体而言，我们的 CCPE 包含两个分支：(1) 本质内容提示从基于指令的大型语言模型（LLM）中获得丰富的迁移知识；(2) 可学习内容提示通过 Q-Former 隐式提取最具信息的视觉内容。此外，我们设计了跨模态引导模块（CGM），动态调整单模态特征以实现更好的泛化 FAS。最终，在多个跨域实验中，我们的 CCPE 已被验证有效，并实现了最先进（SOTA）结果。
引用
@article{arxiv.2504.04470,
title = {Domain Generalization for Face Anti-spoofing via Content-aware Composite Prompt Engineering},
author = {Jiabao Guo and Ajian Liu and Yunfeng Diao and Jin Zhang and Hui Ma and Bo Zhao and Richang Hong and Meng Wang},
journal= {arXiv preprint arXiv:2504.04470},
year = {2025}
}