用于VIS-NIR转换的面部特征嵌入CycleGAN
计算机视觉与模式识别
2019-04-26 v2
摘要
由于两种模态间光谱分量的差异以及配对训练数据的不足，VIS-NIR人脸识别仍是一项具有挑战性的任务。受CycleGAN启发，本文提出一种方法，旨在将VIS人脸图像转换为分布意图逼近真实NIR图像分布的伪NIR图像，这是通过提出一种新的面部特征嵌入CycleGAN实现的。首先，为学习NIR域的特定特征同时保留VIS与NIR域间的共性面部表示，我们采用一个通用面部特征提取器（FFE）替换CycleGAN原始生成器中的编码器。为实现该面部特征提取器，此处MobileFaceNet在一个VIS人脸数据库上预训练，并能提取有效特征。其次，通过考虑一种新的像素一致性损失增强了域不变特征学习。最后，我们建立了一个新的WHU VIS-NIR数据库，其在人脸旋转与表情上具多样性，以丰富训练数据。在Oulu-CASIA NIR-VIS数据库与WHU VIS-NIR数据库上的实验结果表明，所提出的基于FFE的CycleGAN（FFE-CycleGAN）优于当前最优的VIS-NIR人脸识别方法，并取得了96.5\%的准确率。
引用
@article{arxiv.1904.09464,
title = {Facial Feature Embedded CycleGAN for VIS-NIR Translation},
author = {Huijiao Wang and Li Wang and Xulei Yang and Lei Yu and Haijian Zhang},
journal= {arXiv preprint arXiv:1904.09464},
year = {2019}
}
备注
reference [9] corrected; the organization of co-author Xulei Yang corrected;