质量引导的素描到照片图像合成
计算机视觉与模式识别
2020-05-06 v1 图像与视频处理
机器学习
摘要
艺术家绘制的人脸素描广泛用于视觉识别应用，尤其是执法机构，但这些素描的质量取决于艺术家清晰复现所有关键面部特征的能力，这些特征有助于捕捉对象的真实身份。近期工作尝试将这些素描合成为逼真的视觉图像，以提高视觉识别与辨认能力。然而，从素描合成照片级真实感图像被证明是一项更具挑战性的任务，尤其对于嫌疑人辨认等敏感应用。本文提出一种新颖方法，采用生成对抗网络将单张素描合成为多张具有独特属性（如发色、性别等）的合成图像。我们引入了一个混合判别器，对多个目标属性进行属性分类；一个质量引导编码器，最小化合成图像与真实图像在网络不同层中潜在空间嵌入的感知差异；以及一个身份保持网络，在整个训练过程中维持合成图像的身份。我们的方法旨在提升合成图像的视觉吸引力，同时在不损害合成图像身份的前提下为生成器赋予多种属性。我们使用 XDOG 滤波器为 CelebA、WVU Multi-modal 和 CelebA-HQ 数据集合成素描，并利用在 CUHK、IIT-D 和 FERET 数据集素描上训练的辅助生成器。与当前最先进技术相比，我们的结果令人印象深刻。
引用
@article{arxiv.2005.02133,
title = {Quality Guided Sketch-to-Photo Image Synthesis},
author = {Uche Osahor and Hadi Kazemi and Ali Dabouei and Nasser Nasrabadi},
journal= {arXiv preprint arXiv:2005.02133},
year = {2020}
}
备注
10 pages, 9 figures