WHAC：世界坐标系下的人体与相机

从单目视频在世界坐标系中估计具有准确尺度的人体和相机轨迹是一个高度理想化但极具挑战性且病态的问题。在本研究中，我们旨在通过利用世界、人体和相机这三个关键参与者之间的协同作用，联合恢复富有表现力的参数化人体模型（即 SMPL-X）和相应的相机位姿。我们的方法基于两个关键观察。首先，相机坐标系下的 SMPL-X 估计方法易于恢复绝对人体深度。其次，人体运动本质上提供了绝对的空间线索。通过整合这些见解，我们引入了一个被称为 WHAC 的新框架，以促进世界坐标系下的富有表现力的人体姿态和形状估计（EHPS）以及相机位姿估计，而无需依赖传统的优化技术。此外，我们提出了一个新的合成数据集 WHAC-A-Mole，其中包含准确标注的人体和相机，并具有多样化的交互式人体运动以及逼真的相机轨迹。在标准基准和新建立的基准上的大量实验突出了我们框架的优越性和有效性。我们将公开代码和数据集。