一种基于合成的热红外至可见光人脸验证方法
计算机视觉与模式识别
2022-11-08 v3
摘要
近年来，可见光谱人脸验证系统已被证明可与经验丰富的法医检验员的表现相媲美。然而，此类系统在弱光和夜间条件下无效。热红外人脸图像通过捕捉身体热辐射，有效补充了可见光谱，在光照有限的场景中捕获具有判别力的面部特征。由于获取多样化、配对的红外与可见光谱数据集的成本和难度增加，可用于弱光识别的算法和大规模基准并不多。本文提出一种算法，在 ARL-VTF 和 TUFTS 多光谱人脸数据集上均达到 SOTA 性能。重要的是，我们研究了人脸对齐、像素级对应以及带标签平滑的 identity 分类在多光谱人脸合成与验证中的作用。我们表明所提方法具有广泛适用性、鲁棒性和高效性。此外，我们表明所提方法在侧脸到正脸验证上显著优于人脸正面化方法。最后，我们提出 MILAB-VTF(B)，一个具有挑战性的多光谱人脸数据集，由配对的红外与可见光视频组成。据我们所知，该数据集包含 400 名受试者的面部数据，代表了最广泛的室内与远距离室外热红外-可见光人脸图像集合。最后，我们展示了端到端热红外至可见光人脸验证系统在 MILAB-VTF(B) 数据集上提供了强劲的性能。
引用
@article{arxiv.2108.09558,
title = {A Synthesis-Based Approach for Thermal-to-Visible Face Verification},
author = {Neehar Peri and Joshua Gleason and Carlos D. Castillo and Thirimachos Bourlai and Vishal M. Patel and Rama Chellappa},
journal= {arXiv preprint arXiv:2108.09558},
year = {2022}
}
备注
This work has been accepted to the IEEE International Conference on Automatic Face and Gesture Recognition (FG) 2021