基于单张图像的可泛化与可动画 3D 全头高斯虚拟人

从单张图像构建可动画的 3D 头部虚拟人是一个重要且极具挑战性的问题。现有方法在相机姿态大范围变化时通常会发生崩塌，损害 3D 虚拟人的真实感。在本工作中，我们提出了一种新框架，以单次前向传播解决单样本 3D 全头可动画虚拟人重建这一新设定，实现实时动画与同时的 360$^circ$ 渲染视角。为了实现高效动画控制，我们利用嵌入在 UV 空间内参数化人脸模型表面上的高斯基元对 3D 头部虚拟人进行建模。为了获取全头几何与纹理知识，我们在预训练的 3D 生成对抗网络（GAN）中利用丰富的 3D 全头先验，进行全局全头特征提取与多视角监督。为了提高输入图像 3D 重建的保真度，我们利用 UV 空间与人脸的对称性，将局部细粒度输入图像特征与全局全头纹理相融合。大量实验证明了本方法的有效性，实现了高质量的 3D 全头建模以及实时动画，从而提升了 3D 说话虚拟人的真实感。