作为可扩展机器人学习基础可供性的通用流

我们致力于通过可扩展的框架解决获取真实世界操作技能的挑战。我们认为，确定一个能够利用大规模数据集的合适预测目标对于实现高效且通用的学习至关重要。因此，我们提出利用 3D 流（即目标物体上 3D 点的未来轨迹）作为理想的预测目标。为了利用可扩展的数据资源，我们将目光转向人类视频。我们首次直接从大规模 RGBD 人类视频数据集中开发了一个语言条件的 3D 流预测模型。我们预测的流提供了可操作的指导，从而促进了真实世界场景中的零样本技能迁移。我们部署了一种基于闭环流预测的策略来应用我们的方法。值得注意的是，在无需任何领域内微调的情况下，我们的方法在零样本人机技能迁移中实现了 81% 的惊人成功率，涵盖了 6 个场景中的 18 项任务。我们的框架具有以下优势：（1）可扩展性：利用跨本体数据资源；（2）广泛适用性：支持多种物体类别，包括刚体、铰接体和软体；（3）稳定的技能迁移：以较小的推理领域差距提供可操作的指导。代码、数据和补充材料可在 https://general-flow.github.io 获取。