利用生成对抗网络从偏振热成像人脸合成高质量可见光人脸
计算机视觉与模式识别
2018-12-14 v1
摘要
偏振(或常规)热成像与可见光域所捕获人脸之间的巨大域差异,使得跨域人脸验证对于人类检验员和计算机视觉算法而言都是极具挑战性的问题。先前的方法要么采用两步流程(可见光特征估计与可见光图像重建),要么采用输入级融合技术,即将不同的斯托克斯图像拼接并作为多通道输入,以在给定相应偏振特征的情况下合成可见光图像。尽管这些方法取得了改进,但我们认为仅依靠输入级融合可能不足以发挥可用斯托克斯图像的全部潜力。我们提出了一种基于生成对抗网络(GAN)的多流特征级融合技术,以从偏振热成像图像合成高质量可见光图像。所提出的网络由一个生成器子网络(基于稠密残差块构建的编码器-解码器网络)和一个多尺度判别器子网络组成。生成器网络通过优化对抗损失以及感知损失和身份保持损失进行训练,以实现照片级真实的可见光图像生成,同时保留判别特征。我们还引入了一个包含111名受试者偏振热成像面部特征的扩展数据集。在不同实验协议下进行的多个实验表明,所提出的方法达到了最先进的性能。代码将在 https://github.com/hezhangsprinter 提供。
引用
@article{arxiv.1812.05155,
title = {Synthesis of High-Quality Visible Faces from Polarimetric Thermal Faces using Generative Adversarial Networks},
author = {He Zhang and Benjamin S. Riggan and Shuowen Hu and Nathaniel J. Short and Vishal M. Patel},
journal= {arXiv preprint arXiv:1812.05155},
year = {2018}
}
备注
Note that the extended dataset is available upon request. Researchers can contact Dr. Sean Hu from ARL at [email protected] to obtain the dataset