基于虚拟深度合成的置信度感知 RGB-D 人脸识别
计算机视觉与模式识别
2024-03-19 v2
摘要
由于光照、遮挡和姿态的变化，2D 人脸识别在非受限环境中面临挑战。近期的研究关注 RGB-D 人脸识别，通过引入深度信息来提高鲁棒性。然而，收集足够的成对 RGB-D 训练数据既昂贵又耗时，阻碍了其广泛部署。在这项工作中，我们首先构建了一个由 3D Morphable Models 生成的多样化深度数据集，用于深度模型预训练。然后，我们提出了一个领域无关的预训练框架，该框架利用现成的预训练 RGB 和深度模型分别执行人脸识别，而无需额外的成对数据进行重训练。为了无缝集成这两个不同的网络，并利用 RGB 和深度信息的互补优势以提高准确性，我们提出了一种创新的 Adaptive Confidence Weighting (ACW)。该机制旨在学习每个模态的置信度估计，以在分数级别实现模态融合。我们的方法简单且轻量，除了骨干模型外仅需训练 ACW。在多个公开 RGB-D 人脸识别基准上的实验表明，其性能超越了以往基于深度估计和特征融合的方法，达到了 SOTA，验证了我们方法的有效性。
关键词
引用
@article{arxiv.2403.06529,
title = {Confidence-Aware RGB-D Face Recognition via Virtual Depth Synthesis},
author = {Zijian Chen and Mei Wang and Weihong Deng and Hongzhi Shi and Dongchao Wen and Yingjie Zhang and Xingchen Cui and Jian Zhao},
journal= {arXiv preprint arXiv:2403.06529},
year = {2024}
}
备注
9 pages, 5 figures