基于部分运动场注册的体育转播单目 3D 人体姿态估计

体育赛事的拍摄将运动员在真实世界中的运动投影并扁平化到 2D 转播图像上。这些图像中关节的像素位置可被高精度地检测。恢复运动员肢体的实际 3D 运动（运动学）需要将这些 2D 像素位置提升回第三维，这意味着某种场景几何。运动场众所周知的线标记可用于相机标定并确定场景的实际几何。提取详细运动学需要运动员的特写镜头，而这又遮蔽了用于相机标定的相关场地标记。我们提出部分运动场注册，其确定一组场景一致的相机标定，仅余一个自由度。通过 3D 姿态估计与相机标定的联合优化，我们展示了在 400m 跑道上成功提取 3D 跑动运动学。本工作中，我们结合 2D 人体姿态估计与通过部分运动场注册的相机标定方面的进展，展示了收集有效大规模运动学数据集的途径。我们在 Unreal Engine 5 中生成了包含不同视角、跑动风格与体型的超过 10k 图像的合成数据集，以展示现有单目 3D HPE（人体姿态估计）方法的局限。合成数据与代码见 https://github.com/tobibaum/PartialSportsFieldReg_3DHPE。