通过评估基础模型获取任务感知机器人抓取质量多样性解决方案

任务感知机器人抓取是一个需要集成语义理解和几何推理的具有挑战性的问题。本文提出了一种新方法，利用大型语言模型（LLM）和质量多样性（QD）算法，以实现零样本任务条件抓取合成。该框架将物体分割成有意义的子部件并对每个子部件进行语义标签，从而创建可用于提示LLM的结构化表示。通过将物体结构的语义表示和几何表示耦合，LLM关于任务及哪些部件应被抓取的知识可应用于实际场景。QD生成的抓取档案提供了多样化的抓取组合，使我们能够根据任务选择最合适的抓取。我们在Franka Emika机器人上对YCB数据集的子集进行了评估。通过调查，建立了针对任务特定抓取区域的综合真实值。我们的工作在65个任务-物体组合中实现了73.6%的加权交并比（IoU），用于预测任务条件抓取区域。进一步在更小的子集上进行了端到端验证研究，进一步确认了该方法的有效性，88%的响应偏好于任务感知抓取。 binomial test显示，参与者显著偏好任务感知抓取。