PA-FAS：基于路径增强强化学习实现可解释且通用的多模态人脸防欺骗
计算机视觉与模式识别
2025-11-25 v1 人工智能
摘要
人脸防欺骗（FAS）最近在多模态融合、跨域泛化和可解释性方面取得了进展。凭借大语言模型和强化学习（RL），基于策略的训练为联合建模这些方面提供了新的机会。然而，多模态推理的复杂性高于单模态推理，需要准确的特征表示和跨模态验证，同时面临稀缺的高质量标注问题，这使得直接应用 RL 效果不佳。我们识别了监督微调加上强化学习（SFT+RL）用于多模态 FAS 的两个关键局限性：（1）受限的多模态推理路径限制了互补模态的使用，并在 SFT 后收缩探索空间，削弱了 RL 的效果；（2）单任务监督与多样化推理路径不匹配导致推理混淆，模型可能通过将图像直接映射到答案来利用捷径，忽略预期的推理。为此，我们提出PA-FAS，通过构建从有限标注中获得的高质量扩展推理序列来增强推理路径，丰富路径并放宽探索约束。我们进一步在 SFT 期间引入答案随机化机制，以强制进行综合的多模态分析，而非依赖表面线索，从而鼓励更深入的推理并缓解捷径学习。PA-FAS显著提高了多模态推理准确性和跨域泛化能力，更好地统一了多模态融合、泛化和可解释性，以实现可信赖的 FAS。
引用
@article{arxiv.2511.17927,
title = {PA-FAS: Towards Interpretable and Generalizable Multimodal Face Anti-Spoofing via Path-Augmented Reinforcement Learning},
author = {Yingjie Ma and Xun Lin and Yong Xu and Weicheng Xie and Zitong Yu},
journal= {arXiv preprint arXiv:2511.17927},
year = {2025}
}
备注
Accepted by AAAI 2026 (Oral)