提升乒乓球：面向 3D 轨迹与 spin 估计的鲁棒、实际应用

从标准单目视频中获取乒乓球精确的 3D 运动是具有挑战性的，因为训练有素合成数据的现有方法难以泛化到实际世界中噪声、不完美的球和桌子检测上。这主要是由于缺乏针对真实世界视频的 3D ground truth 轨迹和 spin 标注所致。为克服此问题，我们提出一种 novel two-stage pipeline，将问题分为前端感知任务和后端 2D-to-3D 提升任务。这种分离使我们能够使用我们新创建的 TTHQ 数据集获得丰富的 2D 监督来训练前端组件，而后端提升网络则仅在 physically-correct 合成数据上训练。我们特别 re-engineer 提升模型以适应常见的实际世界制件，如缺失的检测和可变帧率。通过集成球检测器和桌子关键点检测器，我们将一个 proof-of-concept 提升方法转化为针对 3D 乒乓球轨迹和 spin 分析的 practical、robust 且 high-performing end-to-end application。