在电视剧中重建三维人体与环境的研究

电视剧刻画了广泛的人类行为，并因其作为多应用丰富数据源的潜力而被深入研究。然而，现有工作大多聚焦于 2D 识别任务。本文中，我们观察到电视剧存在某种持续性，即环境与人物的重复出现，这使得对此类内容进行 3D 重建成为可能。基于该见解，我们提出一种自动方法，作用于整季电视剧并在 3D 中聚合信息；我们构建环境的 3D 模型，计算相机信息、静态 3D 场景结构与身体尺度信息。进而，我们展示该信息如何作为丰富的 3D 上下文，引导并改善这些环境中 3D 人体姿态与位置的恢复。此外，我们表明在 3D 中对人体及其环境进行推理可支持广泛的下游应用：重识别、凝视估计、电影摄影与图像编辑。我们将该方法应用于七部标志性电视剧的环境，并对所提系统进行了广泛评估。