语言驱动的闭环抓取：基于模型预测轨迹重规划

将视觉模块集成到机器人操控任务的闭环控制系统中，以实现对机器人的“无缝运动”具有挑战，因为所利用的模块更新速率不一致。这个任务在动态环境中更加困难，例如物体是移动的。本文提出了一个模块化的零样本框架，用于通过闭环控制系统进行语言驱动的动作对象抓取，该系统实现了实时轨迹重规划和在线 6D 物体姿态局部化。我们通过语言命令利用视觉语言模型将物体分割，所需时间为 $\SI{0.5}{\second}$。然后，受自然语言命令驱动，闭环系统包括统一的姿态估计和跟踪以及在线轨迹规划，用于持续跟踪该物体并实时计算最优轨迹。我们提出的零样本框架提供平滑的轨迹，避免运动中的突变，确保机器人能够抓取非平稳物体。实验结果表明，所提出的零样本模块化框架在轨迹优化模块上实现了实时能力，能够准确且有效地抓取移动物体，即在线 6D 姿态局部化模块达到 $\SI{30}{\hertz}$ 更新速率，重规划的 Receding-horizon 轨迹优化模块达到 $\SI{10}{\hertz}$ 更新速率。这些优势凸显了该模块化框架在机器人领域和人机交互中的潜在应用；参见视频链接 https://www.acin.tuwien.ac.at/en/6e64/。