基于事件相机的习惯性事件驱动视觉 Ping Pong 球轨迹预测

本文提出了一种针对乒乓球使用事件相机的实时习惯性轨迹预测系统。与标准相机不同，事件相机在高速球速下可避免高延迟和运动模糊，提供更高的时间分辨率，使能够在对手击球后短暂时间窗口内进行更频繁的状态更新，提高对离群值的鲁棒性，并实现准确的轨迹预测。我们收集了乒乓球游戏序列数据集，包括球的 3D 真实轨迹，与来自 Meta Project Aria 眼镜传感器数据和事件流同步。该系统利用 foveated 视觉技术，利用眼镜中的眼动数据仅处理视野中事件，从而提高球检测性能并显著降低计算延迟，在所收集的轨迹上实现了10.81倍的降低因子。我们的检测管道在最坏情况下总延迟为4.5毫秒，包括计算和感知——显著低于基于帧的30 FPS系统，后者仅进行感知的最坏情况延迟为66毫秒。最后，我们为估计的球状态拟合一个轨迹预测模型，实现对球未来 3D 轨迹的预测。已知本是首次从习惯性视角使用事件相机预测乒乓球轨迹。