SAGA：面向三角网格的高斯头

本文提出了一种用于从单目视频中创建可动画人类头像的面向三角网格的高斯表示方法，旨在提高新视角和姿态合成性能，同时确保快速训练和实时渲染。最近，3DGS 作为 NeRF 的一种更高效且更具表达力的替代方案，已用于创建动态人类头像。然而，当应用于单目动态重建这个严重难以判断的任务时，高斯会对衣服皱褶或阴影等持续变化的区域过度拟合，因为这些区域无法提供一致的监督，导致几何噪声和突变的变形，通常在新视角和姿态下难以泛化。为此，我们提出了SAGA，即Surface-Aligned Gaussian Avatar，通过将高斯与网格对齐来强制实现明确的几何和一致的变形，从而提高在新视角和姿态下的泛化性。与现有严格对齐方法（受限于表达力和真实感）不同，SAGA 采用两种阶段的对齐策略，其中高斯首先附着在网格上，然后从网格上分离，从而实现良好的几何和高表达力。在附着阶段，我们通过允许高斯在网格上流动来提高附着在网格上的高斯的灵活性，与现有方法相比，后者将高斯刚性绑定到固定位置。在第二个分离阶段，我们引入了高斯-网格对齐正则化，允许我们通过分离高斯但保持几何对齐来最小化其位置和方向偏离绑定三角形的方式，从而释放表达力。最后，由于在优化过程中，高斯可能会漂移到绑定三角形之外，提出了一种高效的沿网格行走策略，用于动态更新绑定三角形。