RoboDexVLM：面向持握机器人的视觉语言模型驱动的任务规划与运动控制
机器人学
2025-03-04 v1
摘要
本文提出了一种创新的框架——RoboDexVLM，用于针对配备灵活手臂的协作机器人进行任务规划和抓取检测。以往的方法聚焦于简化且受限的操控任务，往往忽视了对多样化物体进行长期规划抓取的复杂性。相比之下，我们所提出的框架运用了具备灵活手臂的机器人，能够抓取形状和尺寸各异的物体，并能基于自然语言指令执行任务。本文提出的方法包含以下核心组件：首先，设计了一种具备任务级恢复机制的鲁棒任务规划器，利用视觉语言模型（VLM）实现，使系统能够解释并执行开放词汇命令以完成长序列任务。其次，基于机器人运动学和形式化方法，提出了一种面向零样本灵活操控的语言引导抓取感知算法，适用于多样化物体和指令。通过大量实验结果验证，RoboDexVLM 在处理长期场景和执行灵活抓取方面的有效性、适应性和鲁棒性均得到了充分体现。这些结果表明，该框架能够在复杂环境中运行，展示了其在开放词汇灵活操控方面的潜力。我们的开源项目页面可在 https://henryhcliu.github.io/robodexvlm 查看。
引用
@article{arxiv.2503.01616,
title = {RoboDexVLM: Visual Language Model-Enabled Task Planning and Motion Control for Dexterous Robot Manipulation},
author = {Haichao Liu and Sikai Guo and Pengfei Mai and Jiahang Cao and Haoang Li and Jun Ma},
journal= {arXiv preprint arXiv:2503.01616},
year = {2025}
}