Ear2Face：深度生物特征模态映射
计算机视觉与模式识别
2020-06-04 v1
摘要
本文探讨不同视觉生物特征模态之间的相关性。为此，我们提出一个端到端深度神经网络模型，学习生物特征模态间的映射。具体而言，我们的目标是在给定受试者耳部图像作为输入时，生成其正面人脸图像。我们将该问题表述为成对图像到图像翻译任务，并从 Multi-PIE 与 FERET 数据集收集耳部与人脸图像对来训练我们基于 GAN 的模型。除对抗损失与像素损失外，我们还采用了特征重建与风格重建损失。我们从重建质量与人员识别准确率两方面评估所提方法。为评估所学映射模型的泛化能力，我们还进行了跨数据集实验，即在 FERET 上训练而在 Multi-PIE 上测试，反之亦然。我们取得了极具前景的结果，尤其在 FERET 数据集上，能从耳部图像输入生成视觉上逼真的人脸图像。此外，我们获得了极高的跨模态人员识别性能，例如在 FERET 数据集上达到 90.9% 的 Rank-10 识别准确率。
引用
@article{arxiv.2006.01943,
title = {Ear2Face: Deep Biometric Modality Mapping},
author = {Dogucan Yaman and Fevziye Irem Eyiokur and Hazım Kemal Ekenel},
journal= {arXiv preprint arXiv:2006.01943},
year = {2020}
}
备注
13 pages, 4 figures