ROFT：基于实时光流辅助的 6D 物体位姿与速度跟踪
计算机视觉与模式识别
2021-11-09 v1 机器人学
摘要
6D 物体位姿跟踪已在机器人与计算机视觉领域得到广泛研究。最具前景的解决方案利用深度神经网络和/或滤波与优化，在标准基准上展现出显著性能。然而，据我们所知，这些方法尚未针对快速物体运动进行充分测试。在此场景中位姿跟踪性能显著下降，尤其对于无法实现实时性能且引入不可忽略延迟的方法。本工作中，我们提出 ROFT，一种基于卡尔曼滤波的方法，用于从 RGB-D 图像流中进行 6D 物体位姿与速度跟踪。通过利用实时光流，ROFT 将低帧率卷积神经网络（CNN）用于实例分割与 6D 物体位姿估计的延迟输出与 RGB-D 输入流同步，从而实现快速且精确的 6D 物体位姿与速度跟踪。我们在新引入的逼真数据集 Fast-YCB（包含来自 YCB 模型集的快速运动物体）以及物体与手部位姿估计数据集 HO-3D 上测试了我们的方法。结果表明，我们的方法在 6D 物体位姿跟踪上优于 SOTA 方法，同时还提供 6D 物体速度跟踪。展示实验的视频作为补充材料提供。
引用
@article{arxiv.2111.03821,
title = {ROFT: Real-Time Optical Flow-Aided 6D Object Pose and Velocity Tracking},
author = {Nicola A. Piga and Yuriy Onyshchuk and Giulia Pasquale and Ugo Pattacini and Lorenzo Natale},
journal= {arXiv preprint arXiv:2111.03821},
year = {2021}
}
备注
To cite this work, please refer to the journal reference entry. For more information, code, pictures and video please visit https://github.com/hsp-iit/roft