听见触觉：面向富接触操作的视听预训练

尽管在大量数据上进行预训练对机器人学习是有益的，但当前范式仅对视觉表示进行大规模预训练，而其他模态的表示则从头开始训练。与视觉数据的丰富性相反，目前尚不清楚有哪些相关的互联网规模数据可用于触觉等其他模态的预训练。这种预训练在机器人应用中常见的低数据量场景下变得尤为关键。在本文中，我们通过使用接触式麦克风作为替代触觉传感器来填补这一空白。我们的关键洞察是，接触式麦克风捕获的信息本质上是基于音频的，这使我们能够利用大规模视听预训练来获得提升机器人操作性能的表示。据我们所知，我们的方法是首个利用大规模多感官预训练进行机器人操作的方法。有关包括真实机器人实验视频在内的补充信息，请访问 https://sites.google.com/view/hearing-touch。