基于直接体积CNN回归的单图像大姿态3D人脸重建
计算机视觉与模式识别
2017-09-11 v2
摘要
3D人脸重建是一个极具难度的计算机视觉基础问题。现有系统通常假设有多个面部图像（有时来自同一对象）作为输入，并且必须应对诸多方法学挑战，例如在大面部姿态、表情和非均匀光照下建立密集对应关系。通常这些方法需要复杂且低效的模型构建与拟合流程。在本工作中，我们提出通过在包含2D图像和3D面部模型或扫描的适当数据集上训练卷积神经网络（CNN）来解决许多此类限制。我们的CNN仅需单张2D面部图像，不需要精确对齐也不建立图像间的密集对应，适用于任意面部姿态和表情，并且可用于重建整个3D面部几何结构（包括面部不可见部分），绕过了3D形变模型在训练时的构建和测试时的拟合。我们通过一个简单的CNN架构实现这一点，该架构从单张2D图像直接对3D面部几何结构的体积表示进行回归。我们还展示了如何将面部关键点定位这一相关任务纳入所提出的框架中并帮助提高重建质量，特别是在大姿态和面部表情的情况下。测试代码将连同预训练模型在线发布 http://aaronsplace.co.uk/papers/jackson2017recon
引用
@article{arxiv.1703.07834,
title = {Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression},
author = {Aaron S. Jackson and Adrian Bulat and Vasileios Argyriou and Georgios Tzimiropoulos},
journal= {arXiv preprint arXiv:1703.07834},
year = {2017}
}
备注
10 pages, ICCV 2017