基于独立因子解耦的跨光谱人脸幻构
计算机视觉与模式识别
2020-04-01 v2
摘要
跨传感器差异是异质人脸识别（HFR）中引起诸多研究兴趣的挑战之一。尽管近期方法尝试用深度生成网络弥补该差异，多数受困于不同人脸模态间不可避免的错位。这种错位主要源于与光谱无关的面部几何变化，而非成像传感器。本文提出姿态对齐跨光谱幻构（PACH）方法，解耦独立因子并分阶段处理，而非构建整体式复杂结构。第一阶段设计无监督人脸对齐（UFA）模块，以生成方式将近红外（NIR）图像的面部形状与可见（VIS）图像对齐，其中有效利用 UV 图作为形状引导。因此第二阶段任务变为对齐配对数据的光谱转换。我们开发纹理先验合成（TPS）模块实现肤色控制，从而生成比现有方法更真实的 VIS 图像。在三个具挑战性的 NIR-VIS 数据集上的实验验证了本方法在生成视觉吸引图像及取得 HFR 中 SOTA 性能的有效性。
引用
@article{arxiv.1909.04365,
title = {Cross-Spectral Face Hallucination via Disentangling Independent Factors},
author = {Boyan Duan and Chaoyou Fu and Yi Li and Xingguang Song and Ran He},
journal= {arXiv preprint arXiv:1909.04365},
year = {2020}
}