TT4D：基于单目视频的乒乓球 4D 重建数据集与管线

我们提出 TT4D，一个大规模高保真的乒乓球数据集。它提供 $140+$ 小时的单人和双人比赛 gameplay，这些 gameplay 来自单目直播视频，具有多模态标注，包括高质量相机标定、精确的 3D 球位置、球的旋转、时间分段以及随时间变化的 3D 人体网格。这种丰富的数据为虚拟转播、深入玩家分析和机器人学习提供了新的基础。数据集规模与精度的组合通过一种新颖的重建管线实现。以前的方法首先根据 2D 球轨迹将游戏序列划分为单个球段，然后才尝试进行重建。然而，基于 2D 的时间分段在遮挡和不同相机视角下会崩溃，无法进行可靠的重建。我们颠覆了这一范式，通过一种学习式升降网络将整个未分段的 2D 球轨迹首先提升到 3D。这种 3D 轨迹随后允许我们可靠地执行时间分段。学习式升降网络还推断球的旋转、处理不可靠的球检测，并成功在高遮挡情况下重建球的轨迹。这种升-first 设计是必要的，因为我们的管线是唯一能够从一般视角直播单目视频中重建乒乓球 gameplay 的方法。我们通过两个下游任务展示了数据集的保真度：估计球拍在撞击时的姿态与速度，以及训练具备竞技意图的生成模型。