SplattingAvatar：基于网格嵌入高斯泼溅的逼真实时人类化身

我们提出了 SplattingAvatar，这是一种将高斯泼溅嵌入三角形网格的光拟真人类化身混合 3D 表示，在现代 GPU 上渲染速度超过 300 FPS，在移动设备上达到 30 FPS。我们将虚拟人类的运动与外观解耦，分别采用显式网格几何和基于高斯泼溅的隐式外观建模。高斯由三角形网格上的重心坐标和位移定义为 Phong 曲面。我们扩展了提升优化方法，以便在三角形网格上移动时同时优化高斯的参数。SplattingAvatar 是一种虚拟人类的混合表示，其中网格表示低频运动和表面变形，而高斯则接管高频几何和细节外观。与依赖基于 MLP 的线性混合蒙皮 (LBS) 场进行运动的现有变形方法不同，我们直接通过网格控制高斯的旋转和平移，从而使其兼容各种动画技术，例如骨骼动画、混合形状和网格编辑。SplattingAvatar 可从单目视频中训练全身和头部化身，在多个数据集上展示了最先进的渲染质量。