MultiPly：从单目野外视频中重建多个行人

我们提出 MultiPly，一个新颖的框架，用于从单目野外视频中重建多个人物。从单目野外视频中重建多个自然移动和交互的个体具有挑战性。为此，需要在没有任何主体先验知识的情况下实现精确的像素级解耦，同时需要从短视频序列中恢复复杂且完整的3D人体形状，这进一步增加了难度。为解决这些挑战，我们首先定义整个场景的分层神经表示，由 individual 人类和背景模型组成。通过我们层级可微分体积渲染学习分层神经表示。学习过程通过结合自监督3D分割和可提示2D分割模块的混合实例分割方法得到增强，即使在人物密切交互情况下也能获得可靠的实例分割监督。我们引入置信度引导的优化公式，轮流优化人体姿态和形状/外观。我们整合有效目标以通过光度信息细化人体姿态，并对人体动力学施加物理上合理的约束，实现高保真度且具有时序一致性的3D重建。我们方法的评估显示，在公开数据集和野外视频中均优于现有方法。