3D-CariGAN：从人脸照片生成三维漫画的端到端方案
计算机视觉与模式识别
2021-11-16 v2
摘要
漫画是一种受人脸吸引的艺术风格，在娱乐产业中备受关注。迄今为止存在少数几种三维漫画生成方法，且都要求以某种漫画信息（如漫画草图或二维漫画）作为输入。然而，此类输入难以由非专业用户提供。本文提出一种端到端深度神经网络模型，可直接由普通二维人脸照片生成高质量三维漫画。我们系统最具挑战性的问题源于：人脸照片的源域（以普通二维人脸为特征）与三维漫画的目标域（以三维夸张脸型与纹理为特征）差异显著。为应对该挑战，我们：(1) 构建了含 5,343 个三维漫画网格的大型数据集，并用以在三维漫画形状空间中建立 PCA 模型；(2) 从输入人脸照片重建普通完整三维头部，并利用其在三维漫画形状空间中的 PCA 表示建立输入照片与三维漫画形状间的对应；(3) 基于既往漫画心理学研究提出一种新颖角色损失与一种新颖漫画损失。包括新颖两级用户研究在内的实验表明，我们的系统可直接由普通人脸照片生成高质量三维漫画。
引用
@article{arxiv.2003.06841,
title = {3D-CariGAN: An End-to-End Solution to 3D Caricature Generation from Face Photos},
author = {Zipeng Ye and Mengfei Xia and Yanan Sun and Ran Yi and Minjing Yu and Juyong Zhang and Yu-Kun Lai and Yong-jin Liu},
journal= {arXiv preprint arXiv:2003.06841},
year = {2021}
}
备注
Accepted by IEEE Transactions on Visualization and Computer Graphics