基于空间分布 MLP 插值的实时高保真高斯人类化身

许多工作已成功从多视图视频中重建高斯人类化身，但它们要么难以用单个 MLP 捕获姿态相关的外观细节，要么依赖计算密集型神经网络来重建高保真外观但渲染性能下降到非实时。我们提出一种新型高斯人类化身表示，能够在重建高保真姿态相关外观细节的同时实现实时渲染。我们的高斯化身受益于空间分布的 MLP，这些 MLP 明确位于人类身体的不同位置。每个高斯的参数通过根据其周围 MLP 的距离进行插值获得。为避免插值期间不希望的平滑高斯属性变化，我们为每个高斯定义一组高斯偏移基，线性组合基表示相对于中性属性的高斯属性偏移。随后我们提出让 MLP 输出对应于该基的一组系数。如此一来，虽然高斯系数是通过插值获得且平滑变化，但高斯偏移基是自由学习的，不受约束。平滑变化的系数与自由学习的基仍能产生明显不同的高斯属性偏移，从而允许学习高频空间信号。我们进一步使用控制点约束高斯位于表面层上，而不是允许它们在身体内部不规则分布，以帮助在新姿态下对人类化身进行更好的泛化。与最先进的方法相比，我们的方法在外观质量上实现更好的表现，细节更丰富，而在新视角和新姿态下的渲染速度显著更快。