面向近红外-可见光遮挡人脸识别
计算机视觉与模式识别
2021-05-12 v1
摘要
近红外到可见光（NIR-VIS）人脸识别是异构人脸识别中最常见的情况，旨在匹配从两种不同模态捕获的一对人脸图像。现有的基于深度学习的方法在NIR-VIS人脸识别中取得了显著进展，而在COVID-19大流行期间遇到了某些新出现的困难，因为人们应佩戴口罩以切断病毒传播。我们将此任务定义为NIR-VIS遮挡人脸识别，并发现NIR探测图像中的遮挡人脸存在问题。首先，遮挡人脸数据的缺乏是网络训练的一个挑战性问题。其次，大部分面部区域（脸颊、嘴、鼻等）被口罩完全遮挡，导致大量信息丢失。第三，剩余面部区域中仍存在域间隙。在此情形下，现有方法因上述问题遭受显著的性能退化。本文旨在从训练数据和训练方法的角度解决NIR-VIS遮挡人脸识别的挑战。具体而言，我们提出一种新颖的异构训练方法，借助半连体网络最大化两个域人脸表示所共享的互信息。此外，采用基于3D人脸重建的方法从现有NIR图像合成遮挡人脸。借助这些做法，我们的方案提供了域不变的人脸表示，并且对口罩遮挡具有鲁棒性。在三个NIR-VIS人脸数据集上的大量实验证明了我们方法的有效性和跨数据集泛化能力。
引用
@article{arxiv.2104.06761,
title = {Towards NIR-VIS Masked Face Recognition},
author = {Hang Du and Hailin Shi and Yinglu Liu and Dan Zeng and Tao Mei},
journal= {arXiv preprint arXiv:2104.06761},
year = {2021}
}