面向 NIR-VIS 人脸识别的基于物理的人脸渲染
计算机视觉与模式识别
2022-11-14 v1
摘要
由于显著的域差距以及缺乏用于跨模态模型训练的充足数据，近红外（NIR）至可见光（VIS）人脸匹配极具挑战性。为克服这一问题，我们提出了一种成对 NIR-VIS 人脸图像生成的新方法。具体而言，我们从一个大型二维人脸数据集重建三维人脸形状与反射率，并提出一种将 VIS 反射率转换为 NIR 反射率的新方法。随后，我们使用基于物理的渲染器生成了一个包含 NIR 与 VIS 光谱下多种姿态和身份的大型、高分辨率且逼真的数据集。此外，为促进身份特征学习，我们提出了一种基于身份的最大均值差异（ID-MMD）损失，它不仅缩小了 NIR 与 VIS 图像在域级别的模态差距，还促使网络关注身份特征而非姿态和配饰等面部细节。在四个具有挑战性的 NIR-VIS 人脸识别基准上进行的大量实验表明，所提方法无需任何现有 NIR-VIS 人脸识别数据集即可达到与现有最先进（SOTA）方法相当的性能。在目标 NIR-VIS 人脸识别数据集上进行轻微微调后，我们的方法可显著超越 SOTA 性能。代码与预训练模型已在 insightface (https://github.com/deepinsight/insightface/tree/master/recognition) 下发布。
引用
@article{arxiv.2211.06408,
title = {Physically-Based Face Rendering for NIR-VIS Face Recognition},
author = {Yunqi Miao and Alexandros Lattas and Jiankang Deng and Jungong Han and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2211.06408},
year = {2022}
}