视觉-听觉外部接触估计

鲁棒操作往往取决于机器人感知外部接触（即被抓取物体与其周围环境之间的接触）的能力。然而，由于遮挡、有限的分辨率以及模糊的近接触状态，仅通过视觉难以观察这些接触。在本文中，我们提出了一种用于外部接触估计的视觉-听觉方法，将来自视觉的全局场景信息与通过主动音频感知获得的局部接触线索相集成。我们的方法为机器人夹爪配备了接触式麦克风和传导式扬声器，使系统能够通过被抓取的物体发射和接收声学信号以检测外部接触。我们完全在仿真中训练我们的感知流水线，并零样本迁移到现实世界。为了弥合仿真到现实的差距，我们引入了一种从现实到仿真的音频幻觉技术，将真实世界的音频样本注入带有真实接触标签的仿真场景中。由此产生的多模态模型能够在各种杂乱和遮挡场景中准确估计外部接触的位置和大小。我们进一步证明，显式接触预测显著改善了下游富接触操作任务的策略学习。