基于事件相机的快速轨迹终点预测用于反应式机器人控制
计算机视觉与模式识别
2023-02-28 v1 机器人学
摘要
在机器人可行动时间有限或关节驱动功率有限的任务中,预测能力对任务成功至关重要。在此类场景中,具有固定(可能过低)采样率的视觉系统可能导致信息点的丢失,减缓预测收敛并降低精度。在本文中,我们提议利用事件相机的低延迟、运动驱动采样和数据压缩特性来克服这些问题。作为一个用例,我们使用 Panda 机械臂来拦截在桌面上弹跳的球。为预测拦截点,我们采用 Stateful LSTM 网络——一种无固定输入长度的特殊 LSTM 变体,它非常契合事件驱动范式以及轨迹长度不定的当前问题。我们在仿真中训练网络以加速数据集获取,然后在真实轨迹上对模型进行微调。实验结果表明,与使用固定时间采样(即基于帧的相机)相比,使用密集空间采样(即事件相机)显著增加了被拦截轨迹的数量。
引用
@article{arxiv.2302.13796,
title = {Fast Trajectory End-Point Prediction with Event Cameras for Reactive Robot Control},
author = {Marco Monforte and Luna Gava and Massimiliano Iacono and Arren Glover and Chiara Bartolozzi},
journal= {arXiv preprint arXiv:2302.13796},
year = {2023}
}
备注
7 pages, 7 figures