FingerSLAM：基于视觉-触觉反馈的未知物体闭环定位与重建
机器人学
2023-03-15 v1 人工智能
计算机视觉与模式识别
摘要
本文研究利用视觉-触觉反馈对手中未知物体进行6自由度定位与三维重建的问题。我们提出FingerSLAM，一种基于因子图的闭环位姿估计器，它结合了指尖的局部触觉感知与腕部摄像头的全局视觉感知。FingerSLAM由两种组成型位姿估计器构成：一种多遍精炼的基于触觉的位姿估计器，从精细的局部纹理中捕捉运动；以及一种单遍的基于视觉的位姿估计器，从物体的全局视图中进行预测。我们还设计了一种闭环机制，主动将当前的视觉与触觉图像与先前存储的关键帧进行匹配，以减少累积误差。FingerSLAM将触觉与视觉这两种感知模态以及闭环机制纳入基于因子图的优化框架中。该框架产生的优化位姿估计解比独立估计器更准确。随后利用估计出的位姿，通过拼接从触觉图像恢复出的局部点云，逐步重建未知物体的形状。我们在使用20个物体采集的真实世界数据上训练系统，并在训练时未见的6个物体上通过定量与定性真实世界评估，展示了可靠的视觉-触觉位姿估计与形状重建。
引用
@article{arxiv.2303.07997,
title = {FingerSLAM: Closed-loop Unknown Object Localization and Reconstruction from Visuo-tactile Feedback},
author = {Jialiang Zhao and Maria Bauza and Edward H. Adelson},
journal= {arXiv preprint arXiv:2303.07997},
year = {2023}
}
备注
Submitted and accepted to 2023 IEEE International Conference on Robotics and Automation (ICRA 2023)