人脸素描合成：一项新挑战
计算机视觉与模式识别
2022-07-13 v6
摘要
本文旨在对人脸素描合成（FSS）进行全面研究。然而，由于获取手绘素描数据集的成本高昂，缺乏一个完整的基准来评估过去十年中FSS算法的发展。我们首先引入了一个高质量的FSS数据集，名为FS2K，其包含2104个图像-素描对，涵盖三种素描风格、图像背景、光照条件、肤色和面部属性。FS2K在难度、多样性和可扩展性上不同于以往的FSS数据集，因此应能促进FSS研究的进展。其次，我们通过对89种经典方法进行回顾，开展了最大规模的FSS研究，包括25种基于手工特征的人脸素描合成方法、29种通用翻译方法和35种图像到素描方法。此外，我们对现有的19个前沿模型进行了详尽的实验。第三，我们提出了一个简单的FSS基线模型，名为FSGAN。仅通过两个直接组件，即人脸感知掩码（facial-aware masking）和风格向量扩展（style-vector expansion），FSGAN在提出的FS2K数据集上大幅超越了所有先前最先进（state-of-the-art）模型的性能。最后，我们总结了过去几年中获得的经验，并指出了若干尚未解决的挑战。我们的代码可在 https://github.com/DengPingFan/FSGAN 获取。
引用
@article{arxiv.2112.15439,
title = {Facial-Sketch Synthesis: A New Challenge},
author = {Deng-Ping Fan and Ziling Huang and Peng Zheng and Hong Liu and Xuebin Qin and Luc Van Gool},
journal= {arXiv preprint arXiv:2112.15439},
year = {2022}
}
备注
Accepted to Machine Intelligence Research (MIR)