RePerformer：从回放到照片级真实再表演的沉浸式以人为中心体积视频

以人为中心的体积视频提供了沉浸式的自由视点体验，然而现有方法要么专注于回放一般动态场景，要么专注于驱动人体化身，限制了它们对一般动态场景进行再表演的能力。在本文中，我们提出了 RePerformer，这是一种新颖的基于高斯的表示方法，它统一了高保真以人为中心体积视频的回放和再表演。具体来说，我们将动态场景分层解耦为运动高斯和外观高斯，它们在规范空间中相关联。我们进一步采用基于 Morton 的参数化方法，将外观高斯高效地编码到 2D 位置和属性图中。为了增强泛化能力，我们采用 2D CNN 将位置图映射到属性图，这些属性图可以组装成外观高斯，用于动态场景的高保真渲染。对于再表演，我们开发了一个语义感知对齐模块，并对运动高斯应用变形传递，从而实现了在新运动下的照片级真实渲染。大量实验验证了 RePerformer 的鲁棒性和有效性，为以人为中心体积视频中的“先回放再表演”范式设立了新的基准。