基于域适应的鲁棒多模态人脸防欺骗：应对缺失模态、噪声伪标签和模型退化
计算机视觉与模式识别
2025-09-30 v1
摘要
最近的多模态人脸防欺骗（FAS）方法探讨了利用多种模态来区分真实和假脸的潜力。然而，预先适应的多模态FAS模型常常无法检测来自新目标域的未知攻击。虽然为单模态FAS提出了更现实的域适应（DA）场景以在推断期间学习特定的欺骗攻击，但DA在多模态FAS方法中仍未得到探索。本文提出一种新框架MFAS-DANet，以解决多模态FAS在DA情境下的三个主要挑战：缺失模态、噪声伪标签和模型退化。首先，为解决缺失模态问题，我们提出从其他模态中提取互补特征，以替代缺失模态特征或增强现有特征。接着，为减少模型适应期间噪声伪标签的影响，我们提出通过利用不同模态之间的预测不确定性来推导可靠的伪标签。最后，为防止模型退化，我们设计一种自适应机制，在不稳定适应期间降低损失权重，在稳定适应期间增加权重。大量实验表明，我们提出的MFAS-DANet在有效性和领先的性能方面都具有优势。
引用
@article{arxiv.2509.23475,
title = {Robust Multi-Modal Face Anti-Spoofing with Domain Adaptation: Tackling Missing Modalities, Noisy Pseudo-Labels, and Model Degradation},
author = {Ming-Tsung Hsu and Fang-Yu Hsu and Yi-Ting Lin and Kai-Heng Chien and Jun-Ren Chen and Cheng-Hsiang Su and Yi-Chen Ou and Chiou-Ting Hsu and Pei-Kai Huang},
journal= {arXiv preprint arXiv:2509.23475},
year = {2025}
}