弥合鸿沟：基于条件自适应实例调制的人脸异质识别
计算机视觉与模式识别
2023-07-17 v1
摘要
异质人脸识别（HFR）旨在跨不同域（如热红外与可见光光谱）匹配人脸图像，从而将人脸识别（FR）系统的适用性拓展至具挑战性的场景。然而，域间差异以及目标域中大规模数据集的有限可得性，使得从零训练鲁棒且不变的 HFR 模型十分困难。本文中，我们将不同模态视为不同风格，并提出一种适配特征图以弥合域差距的框架。我们引入了新颖的条件自适应实例调制（CAIM）模块，该模块可集成至预训练 FR 网络中，将其转化为 HFR 网络。CAIM 模块调制中间特征图，以适配目标模态的风格，有效弥合域差距。我们所提方法仅需极少数量的配对样本即可进行端到端训练。我们在多个具挑战性的基准上广泛评估了本方法，展示了相比 SOTA 方法的优越性能。用于复现结果的源代码与协议将公开可用。
引用
@article{arxiv.2307.07032,
title = {Bridging the Gap: Heterogeneous Face Recognition with Conditional Adaptive Instance Modulation},
author = {Anjith George and Sebastien Marcel},
journal= {arXiv preprint arXiv:2307.07032},
year = {2023}
}
备注
Accepted for publication in IJCB 2023