基于生成对抗网络的人脸素描到照片转换
计算机视觉与模式识别
2021-10-26 v1
摘要
将人脸素描转换为照片级真实人脸，在执法与数字娱乐产业等诸多应用中是一项有趣且关键的任务。该任务最重要的挑战之一是素描与真实图像之间的固有差异，例如素描中缺乏色彩与皮肤组织细节。随着对抗生成模型的出现，越来越多的素描到图像合成方法被提出。然而，这些模型仍存在诸多局限，如训练所需配对数据量大、生成图像分辨率低或外观不真实。本文提出一种将输入人脸素描转换为彩色照片的方法，无需任何配对数据集。为此，我们使用预训练的人脸照片生成模型合成高质量自然人脸照片，并采用优化过程以保持对输入素描的高保真度。我们训练一个网络，将输入素描中提取的人脸特征映射到人脸生成模型潜空间中的向量。此外，我们研究了不同的优化准则，并从定量与定性上将该模型与 SOTA 模型的结果进行比较。所提模型在 SSIM 指标上达到 0.655，rank-1 人脸识别率达 97.59%，且生成图像质量更高。
引用
@article{arxiv.2110.12290,
title = {Face sketch to photo translation using generative adversarial networks},
author = {Nastaran Moradzadeh Farid and Maryam Saeedi Fard and Ahmad Nickabadi},
journal= {arXiv preprint arXiv:2110.12290},
year = {2021}
}