推动跨具身学习在操作与导航中的极限

近年来，机器人学和模仿学习在利用多种具身数据训练大规模基础模型方面取得了显著进展。这些策略的成功可能会让我们产生疑问：训练集中的机器人多样性可以达到何种程度，同时仍能促进正向迁移？在本工作中，我们在异构建身背景下研究这一问题，考察即使看似非常不同的领域（如机器人导航和操作）在包含在同一模型的训练数据中时如何提供益处。我们训练了一个单一的目标条件策略，该策略能够控制机械臂、四旋翼飞行器、四足机器人和移动底盘。随后，我们将这些具身形式框架化为单一的目标到达任务，以研究导航和操作之间迁移的程度。我们发现，与导航数据共同训练可以增强带有腕部相机的目标条件操作的鲁棒性和性能。然后，我们将仅从纯导航数据和纯静态操作数据训练的策略部署在移动操作机器人上，表明其能够以零样本方式控制新型具身形式。这些结果提供了证据，表明大规模机器人策略可以从跨各种具身形式收集的数据中受益。更多信息和机器人视频可在我们的项目网站 http://extreme-cross-embodiment.github.io 找到。