面向 NIR-VIS 异构人脸识别的跨光谱人脸补全
计算机视觉与模式识别
2019-02-12 v1
摘要
近红外-可见光（NIR-VIS）异构人脸识别是指将 NIR 人脸图像与 VIS 人脸图像进行匹配的过程。当前的异构方法试图通过从 NIR 图像合成 VIS 图像，将 VIS 人脸识别方法扩展到 NIR 光谱。然而，由于自遮挡和感知差异，NIR 人脸图像丢失了部分可见光光照内容，因此与 VIS 人脸图像相比总是不完整的。本文将高分辨率异构人脸合成建模为两个组件的互补组合：纹理修复组件和姿态校正组件。修复组件从 NIR 图像纹理合成并修复 VIS 图像纹理。校正组件将 NIR 图像中的任意姿态映射为 VIS 图像中的正面姿态，从而生成成对的 NIR 和 VIS 纹理。我们开发了一个变形过程，将这两个组件集成到一个端到端深度网络中。设计了细粒度判别器和基于小波的判别器，分别用于监督类内方差和视觉质量。施加了一项 UV 损失、两项对抗损失和一项像素损失以确保合成结果。我们证明，通过附加校正组件，可以将异构人脸合成从多对多非配对图像转换简化为一对一配对图像转换，并最小化异构识别过程中的光谱和姿态差异。大量实验结果表明，我们的网络不仅生成了高分辨率的 VIS 人脸图像，还促进了异构人脸识别准确率的提升。
引用
@article{arxiv.1902.03565,
title = {Cross-spectral Face Completion for NIR-VIS Heterogeneous Face Recognition},
author = {Ran He and Jie Cao and Lingxiao Song and Zhenan Sun and Tieniu Tan},
journal= {arXiv preprint arXiv:1902.03565},
year = {2019}
}