基于生成对抗网络的偏振热红外人脸到可见光人脸合成
计算机视觉与模式识别
2017-08-10 v1
摘要
偏振（或常规）热红外域与可见光域中捕获的人脸之间存在巨大的域差异，这使得跨域人脸识别对人工审查员和计算机视觉算法而言都是一个极具挑战性的问题。先前的方法利用两步过程（可见光特征估计和可见光图像重建），根据相应的偏振热红外图像合成可见光图像。然而，这被视为两个脱节的步骤，因此可能会阻碍可见光人脸重建的性能。我们认为联合优化将是重建更具真实感图像的更好方式，以供计算机视觉算法和人工审查员审查。为此，本文提出了一种基于生成对抗网络的可见光人脸合成（GAN-VFS）方法，从相应的偏振图像合成更具真实感的可见光人脸图像。为了确保编码的可见光特征在重建可见光人脸图像时包含更多语义上有意义的信息，训练过程中引入了引导子网络。为了在实现真实感的同时保持重建输出的判别性特征，该框架中优化了结合感知损失的恒等损失。在不同实验协议下评估的多项实验表明，所提出的方法实现了 SOTA 性能。
引用
@article{arxiv.1708.02681,
title = {Generative Adversarial Network-based Synthesis of Visible Faces from Polarimetric Thermal Faces},
author = {He Zhang and Vishal M. Patel and Benjamin S. Riggan and Shuowen Hu},
journal= {arXiv preprint arXiv:1708.02681},
year = {2017}
}