DADM：面向人脸防欺骗的域与模态双向对齐

随着多种传感器模态（即RGB、深度、红外）的可用性以及多模态学习的成功，多模态人脸防欺骗（FAS）已成为重要研究领域。其理念是，利用多个模态可揭示更多内在的欺骗痕迹。然而，这种方法增加了误对齐风险。我们识别了两种主要的误对齐类型：（1）“域内模态误对齐”，即不同攻击下各模态的重要性不同。例如，特定模态（如深度）对特定攻击（如3D面具）可能并不具备防御作用，表明各模态在针对特定攻击时具有独特的优势与不足。因此，简单的融合策略可能不足。（2）“域间模态误对齐”，即引入额外模态会加剧域迁移，可能抑制互补融合的优势。针对（1），我们提出一种基于互信息的模态间对齐模块，自适应增强有利模态，抑制不利模态。针对（2），我们采用双向对齐优化方法，对子域超平面和模态角度间隙进行对齐，从而减小域间差距。我们提出的方法称为“双向域与模态对齐”（DADM），在四个具有挑战性的协议上实现了状态-of-the-art性能，显示其在多模态域泛化场景下的鲁棒性。代码将很快公开。