基于单目视频的可重光照与动态高斯化身重建

从单目视频建模可重光照与可动画的人类化身是一项长期存在且具有挑战性的任务。近期，神经辐射场（NeRF）和三维高斯溅射（3DGS）方法被用于重建化身。然而，由于与身体运动相关的几何细节不足（如衣物褶皱），它们通常无法产生令人满意的照片级真实感结果。在本文中，我们提出了一个基于3DGS的人类化身建模框架——可重光照与动态高斯化身（RnD-Avatar），该框架能够呈现精确的姿态相关变形以实现高保真几何细节。为此，我们引入了动态蒙皮权重，基于姿态定义人形化身的关节运动，同时学习由身体运动诱导的额外变形。我们还引入了一种新颖的正则化方法，以在稀疏视觉线索下捕获精细几何细节。此外，我们提供了一个具有不同光照条件的新多视角数据集以评估重光照效果。我们的框架能够在新姿态和新视角下实现真实渲染，同时支持任意光照条件下的照片级真实感光照效果。我们的方法在新视角合成、新姿态渲染和重光照方面达到了最先进的性能。