跨具身学习的规模化：一种用于操控、导航、 locomotion 与航 aviation 的通用策略

现代机器学习系统依赖大规模数据以实现广泛的泛化，而这在机器人学习中常常面临挑战，因为每个机器人平台和任务可能只有小规模数据集。通过在大量不同机器人上训练单一策略，机器人学习方法可以利用更广泛更异构的数据，从而实现更好的泛化和鲁棒性。然而，在机器人数据上训练单一策略具有挑战性，因为机器人可能具有差异巨大的传感器、执行器和控制频率。我们提出CrossFormer，这是一种可扩展且灵活的基于Transformer的策略，能够消费来自任何具身形式的数据。我们在目前规模最大、异构性最强的数据集上训练CrossFormer，涵盖90万条轨迹和20种不同的机器人具身形式。我们展示了相同的网络权重可以控制截然不同的机器人，包括单臂和双臂操控系统、轮式机器人、四旋翼飞行器和四足动物。与先前工作不同，我们的模型不需要手动对齐观察空间或动作空间。大量现实世界实验表明，我们的方法在匹配专为每个具身形式量身定制的专家策略性能的同时，还显著优于跨具身学习的先前最先进方法。