SmartMocap：利用未标定的 RGB 相机联合估计人体与相机运动

从多台 RGB 相机进行无标记人体运动捕捉（mocap）是一个被广泛研究的问题。现有方法要么需要标定相机，要么相对于一台静态相机对标定它们，该静态相机充当 mocap 系统的参考系。标定步骤必须在每次捕捉会话前完成，这是一个繁琐的过程，并且每当相机被有意或意外移动时都需要重新标定。在本文中，我们提出了一种使用多台静态与运动的外参未标定 RGB 相机的 mocap 方法。我们方法的关键组件如下。首先，由于相机和受试者均可自由移动，我们选择地平面作为表示身体与相机运动的公共参考，不同于现有方法在相机坐标系中表示身体。其次，我们学习相对于地平面的短人体运动序列（$\sim$1秒）的概率分布，并利用它来消除相机运动与人体运动之间的歧义。第三，我们在一种新颖的多阶段优化方法中将该分布作为运动先验，以将 SMPL 人体模型与相机位姿拟合到图像上的人体关键点。最后，我们展示了我们的方法可作用于从航拍相机到智能手机的多种数据集。在静态相机单目人体 mocap 任务上，它也相比最先进方法给出了更准确的结果。我们的代码可用于研究目的，地址为 https://github.com/robot-perception-group/SmartMocap。