遮挡下非抓取式操作的视触觉估计与控制学习

不通过抓取的操作，即非抓取式操作，对于在富接触环境中的灵巧机器人至关重要，但存在与欠驱动、混合动力学和摩擦不确定性相关的诸多挑战。此外，在接触不确定性以及物体运动独立于机器人演化的场景中，物体遮挡成为一个关键问题，而以往文献未能解决这一问题。我们提出了一种方法，通过利用在仿真中训练的特权策略产生的多样化交互数据，学习遮挡下非抓取式操作的视触觉状态估计器和感知不确定性的控制策略。我们在贝叶斯深度学习框架内构建估计器以对其不确定性进行建模，然后通过将预学习的估计器纳入强化学习（RL）循环来训练感知不确定性的控制策略，这两者均显著提升了估计器和策略的性能。因此，与依赖复杂外部感知设置的以往非抓取式研究不同，我们的方法在从仿真到真实机器人的迁移后，仅使用简单的机载摄像头便成功处理了遮挡。参见我们的视频：https://youtu.be/hW-C8i_HWgs。