用于插入吸盘抓取物体的基于触觉与视觉感知的实时状态估计

我们开发了一个实时状态估计系统，用于恢复物体相对于其环境的位姿与接触形态。本文聚焦于将吸盘抓取的物体插入狭窄空间的应用，这是机器人包装的一项使能技术。我们提出了一个融合力觉与视觉感知的框架，以提高准确性和鲁棒性。视觉感知具有通用性和非侵入性，但容易受到遮挡和精度受限的影响，尤其是在涉及接触的任务中。触觉感知是局部的，但具有高精度且对遮挡具有鲁棒性。我们提出的融合算法基于 iSAM（一种在线优化技术），我们利用它来融合来自机器人的运动学测量、物体与容器的接触几何以及视觉跟踪。本文将先前在平面环境下的结果推广到具有更复杂接触交互的 3D 任务。使用力觉感知的一个关键挑战在于我们无法直接观测到接触点位置。我们提出了一种数据驱动的方法来推断接触形态，随后由状态估计器实时使用。我们在一个配备了提供真值的实验装置中演示并评估了该算法。