LangGrasp：利用微调大语言模型实现语言交互机器人抓取以处理模糊指令
机器人学
2025-10-03 v1
摘要
现有的语言驱动抓取方法难以充分处理包含隐含意图的模糊指令。为应对这一挑战，我们提出了LangGrasp，一种新型语言交互机器人抓取框架。该框架集成了微调后的大语言模型（LLM），利用其强大的常识理解和环境感知能力，从而从语言指令中推断隐含意图并明确任务需求及目标操作对象。此外，我们设计的由2D部件分割引导的点云定位模块实现了场景中的部分点云定位，从而将抓取操作从粗粒度物体级扩展到细粒度部件级操作。实验结果表明，LangGrasp框架能够准确解析模糊指令中的隐含意图，识别对任务完成至关重要但未明确表述的关键操作和目标信息。此外，它通过整合环境信息动态选择最优抓取姿态。这实现了从物体级到部件级的高精度抓取，显著提升了机器人在非结构化环境中的适应性和任务执行效率。更多信息与代码请访问：https://github.com/wu467/LangGrasp。
引用
@article{arxiv.2510.02104,
title = {LangGrasp: Leveraging Fine-Tuned LLMs for Language Interactive Robot Grasping with Ambiguous Instructions},
author = {Yunhan Lin and Wenqi Wu and Zhijie Zhang and Huasong Min},
journal= {arXiv preprint arXiv:2510.02104},
year = {2025}
}
备注
8 pages, 6 figures