基于属性引导合成的多尺度热红外至可见光人脸验证
计算机视觉与模式识别
2021-04-12 v2
摘要
热红外到可见光人脸验证由于模态间存在较大域差异而是一个具有挑战性的问题。现有方法要么尝试从热红外人脸合成可见光人脸，要么从这些模态中学习域不变的鲁棒特征以进行跨模态匹配。在本文中，我们利用从可见光图像中提取的属性来从热红外图像合成保持属性的可见光图像以进行跨模态匹配。使用预训练的属性预测网络从可见光图像中提取属性。然后，提出一种新颖的多尺度生成器，在提取属性的引导下从热红外图像合成可见光图像。最后，利用预训练的 VGG-Face 网络从合成图像和输入的可见光图像中提取特征以进行验证。在三个数据集（ARL Face Database、Visible and Thermal Paired Face Database 和 Tufts Face Database）上进行的大量实验表明，所提方法取得了最先进的性能。具体而言，在 ARL Face Database、Visible and Thermal Paired Face Database 和 Tufts Face Database 上，其等错误率（EER）分别比最先进方法提高了约 2.41%、2.85% 和 1.77%。本文还引入了一个扩展数据集（ARL Face Dataset volume III），包含 121 名受试者的偏振热红外人脸。此外，进行了消融实验以证明所提方法中不同模块的有效性。
引用
@article{arxiv.2004.09502,
title = {Multi-Scale Thermal to Visible Face Verification via Attribute Guided Synthesis},
author = {Xing Di and Benjamin S. Riggan and Shuowen Hu and Nathaniel J. Short and Vishal M. Patel},
journal= {arXiv preprint arXiv:2004.09502},
year = {2021}
}
备注
accepted by IEEE Transactions on Biometrics, Behavior, and Identity Science (T-BIOM). arXiv admin note: substantial text overlap with arXiv:1901.00889