制作甜甜圈：基于分层 EMD 空间规划的零样本可变形物体工具操控
机器人学
2025-02-04 v3 人工智能
摘要
可变形物体操控是机器人领域最引人入胜 yet 最具挑战性的难题之一。先前技术主要依赖通过演示学习潜在动力学，通常表示为粒子或图像，但存在明显局限：获取合适的演示（尤其长视野任务）可能十分困难。此外，完全基于演示的学习会削弱模型对未演示任务的泛化能力。本文提出一种无演示的分层规划方法，无需任何训练即可处理复杂长视野任务。我们利用大语言模型（LLMs）针对指定任务阐述高层、分阶段计划。每一阶段，LLM 提供工具名称及生成中间子目标点云的 Python 代码。借助某阶段的工具与子目标，我们提出一种精细的闭环模型预测控制策略，其迭代地利用带点对点对应可微物理（DiffPhysics-P2P）损失在地动距离（EMD）空间中的方法。实验结果证实，我们的技术在面团操控的短视野与长视野多项基准上均超越对手。值得注意的是，我们的模型对新颖且未遇的复杂任务展现出强健的零演示泛化能力。我们还在真实机器人平台上通过实验进一步验证了该方法。项目主页：https://qq456cvb.github.io/projects/donut。
引用
@article{arxiv.2311.02787,
title = {Make a Donut: Hierarchical EMD-Space Planning for Zero-Shot Deformable Manipulation with Tools},
author = {Yang You and Bokui Shen and Congyue Deng and Haoran Geng and Songlin Wei and He Wang and Leonidas Guibas},
journal= {arXiv preprint arXiv:2311.02787},
year = {2025}
}
备注
8 pages. IEEE Robotics and Automation Letters (RA-L). Preprint Version. Accepted January, 2025