开关样式调制器的模块无关异构人脸识别
计算机视觉与模式识别
2024-07-12 v1
摘要
异构人脸识别 (HFR) 系统旨在增强面对人脸在具有挑战性的跨模态身份验证场景中的识别能力。然而，源模态和目标模态之间存在显著的域间隙，这对跨域匹配构成了相当大的挑战。现有文献主要专注于为特定的人脸模态对开发 HFR 方法， necessitating 为每个源-目标组合显式训练模型。在本工作中，我们引入了一种新型框架，旨在训练一种能够在推理期间处理多个模态的模块无关 HFR 方法，无需对目标模态标签进行显式了解。我们通过实现一种计算效率高的自动路由机制——开关样式调制块 (SSMB)，该机制训练各种领域专家调制器，这些调制器能够自适应地转换特征图，从而减少域间隙。我们的提议 SSMB 可以端到端训练，并无缝集成到预训练的人脸识别模型中，将其转换为模块无关 HFR 模型。我们在 HFR 基准数据集上进行了广泛的评估，以证明其有效性。源代码和协议将公开获取。
引用
@article{arxiv.2407.08640,
title = {Modality Agnostic Heterogeneous Face Recognition with Switch Style Modulators},
author = {Anjith George and Sebastien Marcel},
journal= {arXiv preprint arXiv:2407.08640},
year = {2024}
}
备注
8 pages