面向热红外至可见光人脸识别的域与姿态不变性学习
计算机视觉与模式识别
2022-11-18 v1
摘要
由于热红外相机及可见光之外谱段分析技术的发展，过去十年间热红外至可见光人脸识别的兴趣显著增长。尽管热与可见光谱间存在巨大差异，现有方法或通过由热脸合成可见脸、或通过学习跨谱段图像表示来弥合域差距。这些方法通常对在不同距离与表情下采集的正面人脸图像表现良好，但在将姿态各异的热脸与正面可见光脸匹配时性能显著下降。我们提出一种新颖的域与姿态不变框架（DPIF），同时学习域不变与姿态不变的表示。我们所提框架由改进网络（从偏姿态热脸与正面可见光脸中提取最相关的中间表示）、联合弥合域与姿态差距的子网络，以及由跨谱段损失与姿态校正损失构成的联合损失函数组成。我们在三个热-可见数据集（ARL Visible-to-Thermal Face、ARL Multimodal Face 和 Tufts Face）上评估以证明所提方法的有效性与优势。尽管DPIF聚焦于学习匹配偏姿态热脸至正面可见光脸，我们也展示了DPIF在匹配正面热脸图像与正面可见光脸图像时提升性能。
引用
@article{arxiv.2211.09350,
title = {Learning Domain and Pose Invariance for Thermal-to-Visible Face Recognition},
author = {Cedric Nimpa Fondje and Shuowen Hu and Benjamin S. Riggan},
journal= {arXiv preprint arXiv:2211.09350},
year = {2022}
}