数字孪生：从单幅图像获取高保真三维头像
计算机视觉与模式识别
2019-12-10 v1
摘要
我们提出了一种从单幅图像生成具有高分辨率 UV 纹理贴图的高保真三维人脸头像的方法。为了估计人脸几何，我们使用深度神经网络直接从给定图像预测三维人脸模型的顶点坐标。在纹理投影之前，通过非刚性形变过程进一步细化三维人脸几何，以更准确地捕获面部 landmarks。我们方法的一个关键创新是使用高质量渲染引擎合成生成的面部图像来训练形状回归网络。此外，我们的形状估计器充分利用了从数百万张面部图像中学习到的深度人脸身份特征的判别能力。我们进行了大量实验，以证明我们优化的二维到三维渲染方法的优越性，尤其是其在真实世界自拍图像上出色的泛化能力。我们提出的从二维图像渲染三维头像的系统具有广泛的应用，从虚拟/增强现实（VR/AR）和远程精神病学到人机交互和社交网络。
引用
@article{arxiv.1912.03455,
title = {Digital Twin: Acquiring High-Fidelity 3D Avatar from a Single Image},
author = {Ruizhe Wang and Chih-Fan Chen and Hao Peng and Xudong Liu and Oliver Liu and Xin Li},
journal= {arXiv preprint arXiv:1912.03455},
year = {2019}
}
备注
8 pages + 11 pages (supplemental material), 21 figures