基于非线性参数模型的漫画地标检测与三维人脸重建
计算机视觉与模式识别
2021-03-09 v2 图形学
摘要
漫画是一种通过扭曲或夸张某些面部特征来对人脸进行艺术抽象的形式，同时仍与所给人脸保持相似性。由于几何与纹理变化的巨大多样性，漫画的自动地标检测与三维人脸重建是一个具有挑战性的问题，且此前鲜有研究。本文提出一种新颖的三维方法，是该任务的首个自动方法。为此，我们首先构建一个包含多种风格二维漫画及其对应三维形状的数据集，然后在基于顶点的形变空间上构建用于三维漫画人脸的参数化模型。基于所构建的数据集与非线性参数化模型，我们提出一种基于神经网络的方法，从输入的二维漫画图像回归三维人脸形状与朝向。消融研究及与最先进方法的对比证明了我们算法设计的有效性。大量实验结果表明，我们的方法对各种漫画均表现良好。我们构建的数据集、源代码及训练好的模型可在 https://github.com/Juyong/CaricatureFace 获取。
引用
@article{arxiv.2004.09190,
title = {Landmark Detection and 3D Face Reconstruction for Caricature using a Nonlinear Parametric Model},
author = {Hongrui Cai and Yudong Guo and Zhuang Peng and Juyong Zhang},
journal= {arXiv preprint arXiv:2004.09190},
year = {2021}
}
备注
The code is available at https://github.com/Juyong/CaricatureFace