基于人类中心上下文的动态头像-场景渲染

从单目视频重建与真实环境相互作用的动态人类的姿态重建是一个重要且具有挑战性的任务。尽管在4D神经渲染方面取得了显著进展，现有方法要么整体建模动态场景，要么分别建模场景和背景以引入参数化人类先验。然而，这些方法要么忽略了场景各组成部分（尤其是人类）的不同运动特征，导致重建不完整，要么忽略了各独立建模组件之间信息的交互，导致人物-场景边界出现空间不一致和视觉瑕疵。为此，我们提出了{\bf Separate-then-Map} (StM)策略，引入专门的信息映射机制以桥接独立定义和优化的模型。我们的方法为每个高斯属性使用共享转换函数，以统一独立建模的组件，通过避免彻底的成对相互作用来提高计算效率，同时确保人类及其周环境之间的空间和视觉一致性。在单目视频数据集上的大量实验表明，StM在视觉质量和渲染精度方面均显著优于现有最先进的方法，尤其在挑战性的人物-场景交互边界处效果更为突出。