利用多对抗网络的高质量人脸照片-素描合成
计算机视觉与模式识别
2018-03-06 v2
摘要
从真实照片合成人脸素描及其逆过程有许多应用。然而，由于照片与素描具有不同的特性，照片/素描合成仍是一个具有挑战性的问题。在这项工作中，我们将此任务视为图像到图像的翻译问题，并探索近期流行的生成模型（GANs）以从素描生成高质量逼真照片以及从照片生成素描。近期基于 GAN 的方法在图像到图像翻译问题特别是照片到素描合成上已展示出有前景的结果，然而，它们在生成高分辨率逼真图像方面能力有限为人所知。为此，我们提出了一种称为利用多对抗网络的照片-素描合成（PS2-MAN）的新型合成框架，它以对抗方式迭代地由低分辨率到高分辨率生成图像。生成器的隐藏层被监督以首先生成较低分辨率图像，随后在网络中进行隐式细化以生成较高分辨率图像。此外，由于照片-素描合成是一个耦合/配对翻译问题，我们利用 CycleGAN 框架来利用配对信息。我们进行了图像质量评估（IQA）和照片-素描匹配实验，以证明我们的框架相对于现有最先进方案的优越性能。代码见：https://github.com/lidan1/PhotoSketchMAN。
引用
@article{arxiv.1710.10182,
title = {High-Quality Facial Photo-Sketch Synthesis Using Multi-Adversarial Networks},
author = {Lidan Wang and Vishwanath A. Sindagi and Vishal M. Patel},
journal= {arXiv preprint arXiv:1710.10182},
year = {2018}
}
备注
Accepted by 2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018)(Oral)