局部策略实现零样本长序列操作
机器人学
2025-03-11 v2 计算机视觉与模式识别
机器学习
摘要
机器人操作的仿真到现实迁移因模拟复杂接触和生成真实任务分布的挑战而困难重重。为解决后一个问题，我们引入了 ManipGen，它利用了一类新的用于仿真到现实迁移的策略：局部策略。局部性赋予了多种吸引人的特性，包括对绝对机器人和物体姿态、技能顺序以及全局场景配置的不变性。我们将这些策略与视觉、语言和运动规划的基础模型相结合，并在仿真中展示了我们的方法在 Robosuite 基准任务上的 SOTA 零样本性能（97%）。我们将局部策略从仿真迁移到现实，并观察到它们可以解决未见过的、长达 8 个阶段的长序列操作任务，且具有显著的姿态、物体和场景配置变化。在 50 个真实世界操作任务中，ManipGen 分别以 36%、76%、62% 和 60% 的优势优于 SayCan、OpenVLA、LLMTrajGen 和 VoxPoser 等 SOTA 方法。视频结果见 https://mihdalal.github.io/manipgen/。
引用
@article{arxiv.2410.22332,
title = {Local Policies Enable Zero-shot Long-horizon Manipulation},
author = {Murtaza Dalal and Min Liu and Walter Talbott and Chen Chen and Deepak Pathak and Jian Zhang and Ruslan Salakhutdinov},
journal= {arXiv preprint arXiv:2410.22332},
year = {2025}
}
备注
ICRA 2025 accepted paper. Main Paper 7 pages, 3 tables, 3 figures. Appendix 6 pages, 2 figures, 6 tables