经过修剪的局部混合形状的高保真移动端头像

我们提出一种方法，从多视角视频重建能在移动设备上运行的高保真人类头像。许多方法可以从多视角视频建模高质量的基于高斯的全身头像，但这些方法需要 heavy computation 来获得姿态相关的外观，使得在移动设备上部署困难。近期方法通过从预训练模型蒸馏，模型姿态相关的非线性高斯属性通过线性组合全局姿态特征与混合形状来实现。虽然它们可以在移动设备上运行，但会损失一些细节。我们观察到，靠近的高斯在身体局部区域内高度相关，可用较少误差进行线性建模。因此，我们在身体的小部位使用局部线性混合形状来捕获全局非线性高斯属性的变化。为进一步减少计算和模型大小，我们提出删除属性变化不大的高斯的混合形状，实现最小化混合形状表示。我们的方法是一种 end-to-end 训练方法，不需要预训练模型。为使其在多个设备上运行，我们使用 WebGPU 实现。实验表明，我们的方法能够渲染高质量的人类头像，细节更佳，在移动设备上 2K 分辨率下可达 120 FPS。