3DGS-Avatar：基于可变形三维高斯溅射的可动画化虚拟形象

我们提出了一种利用三维高斯溅射（3DGS）从单目视频创建可动画化人类虚拟形象的方法。基于神经辐射场（NeRFs）的现有方法可实现高质量的新视角/新姿态图像合成，但往往需要数天训练，且推理时间极慢。近期，学界探索了快速网格结构以高效训练着装虚拟形象。尽管训练极快，这些方法几乎无法达到约 15 FPS 的交互式渲染帧率。本文中，我们使用三维高斯溅射并学习一个非刚性形变网络来重建可动画化的着装人类虚拟形象，其可在 30 分钟内训练完成并以实时帧率（50+ FPS）渲染。鉴于我们表示的显式性质，我们进一步在高斯均值向量和协方差矩阵上引入尽可能等距的正则化，增强了模型在高度关节化的未见姿态上的泛化能力。实验结果表明，我们的方法在从单目输入创建可动画虚拟形象方面取得了与最先进方法相当甚至更好的性能，同时训练和推理分别快 400 倍和 250 倍。