使用双向协同合成网络的人脸照片-素描识别
计算机视觉与模式识别
2021-08-24 v1 机器学习
摘要
本研究提出了一种基于深度学习的框架，以解决将给定人脸素描图像与人脸照片数据库进行匹配的问题。照片-素描匹配问题具有挑战性，因为 1）照片与素描之间存在较大的模态差距，且 2）成对的训练样本数量不足以训练基于深度学习的网络。为规避大模态差距问题，我们的方法是使用两种模态之间的中间潜在空间。我们通过采用双向（照片→素描和素描→照片）协同合成网络，在该潜在空间中有效对齐两种模态的分布。利用类 StyleGAN 的架构使中间潜在空间具备丰富的表示能力。为解决训练样本不足的问题，我们引入了三步训练方案。在公开合成人脸素描数据库上的大量评估证实了我们的方法相对于现有最优方法的优越性能。所提出的方法可用于匹配其他模态对。
引用
@article{arxiv.2108.09898,
title = {Face Photo-Sketch Recognition Using Bidirectional Collaborative Synthesis Network},
author = {Seho Bae and Nizam Ud Din and Hyunkyu Park and Juneho Yi},
journal= {arXiv preprint arXiv:2108.09898},
year = {2021}
}