抑制与重平衡：迈向广义多模态人脸活体检测
计算机视觉与模式识别
2024-03-06 v2
摘要
人脸活体检测（FAS）对于保护人脸识别系统免受呈现攻击至关重要。随着传感器制造和多模态学习技术的进步，出现了许多多模态 FAS 方法。然而，它们在泛化到未见过的攻击和部署条件方面面临挑战。这些挑战源于：（1）模态不可靠性，即某些模态传感器（如深度和红外）在不同环境中经历显著的域偏移，导致跨模态特征融合期间不可靠信息的传播；（2）模态不平衡，即训练过度依赖主导模态阻碍了其他模态的收敛，降低了针对仅使用主导模态无法区分的攻击类型的有效性。为解决模态不可靠性问题，我们提出了不确定性引导交叉适配器（U-Adapter），以识别每个模态内被不可靠检测的区域，并抑制不可靠区域对其他模态的影响。针对模态不平衡问题，我们提出了一种重平衡模态梯度调制（ReGrad）策略，通过自适应调整梯度来重平衡所有模态的收敛速度。此外，我们提供了首个用于评估域泛化场景下多模态 FAS 性能的大规模基准。大量实验表明，我们的方法优于最先进的方法。源代码和协议将在 https://github.com/OMGGGGG/mmdg 发布。
引用
@article{arxiv.2402.19298,
title = {Suppress and Rebalance: Towards Generalized Multi-Modal Face Anti-Spoofing},
author = {Xun Lin and Shuai Wang and Rizhao Cai and Yizhong Liu and Ying Fu and Zitong Yu and Wenzhong Tang and Alex Kot},
journal= {arXiv preprint arXiv:2402.19298},
year = {2024}
}
备注
Accepeted by CVPR 2024