中文

ShapeGrasp:通过几何分解利用大语言模型实现零样本任务导向抓取

机器人学 2024-03-28 v1 人工智能

摘要

任务导向的对陌生物体抓取是机器人在动态家庭环境中必备的技能。灵感来自人类通过对物体形状和结构的直觉就能抓取此类物体的能力,我们提出了一种新颖的零样本任务导向抓取方法,通过将目标物体分解为简单凸形状来实现几何分解,这些形状在图结构中表示,包括几何属性和空间关系。我们的做法仅使用极少的必需信息——物体名称和预期任务——即可实现零样本任务导向抓取。我们利用大语言模型的常识推理能力,动态为每个分解的部件分配语义含义,并随后推理每个部件对于预期任务的实用性。通过在真实机器人平台上的大规模实验,我们证明了我们的抓取方法的分解和推理管道在92%的情况下能够选取正确的部件,并在我们评估的82%的任务中成功抓取物体。附加的视频、实验、代码和数据可在我们的项目网站 https://shapegrasp.github.io/ 上获取。

关键词

引用

@article{arxiv.2403.18062,
  title  = {ShapeGrasp: Zero-Shot Task-Oriented Grasping with Large Language Models through Geometric Decomposition},
  author = {Samuel Li and Sarthak Bhagat and Joseph Campbell and Yaqi Xie and Woojun Kim and Katia Sycara and Simon Stepputtis},
  journal= {arXiv preprint arXiv:2403.18062},
  year   = {2024}
}

备注

8 pages