面向非结构化环境的异构机器人协作：基于 grounding 的生成式智能
机器人学
2025-11-03 v1 人工智能
摘要
在真实环境中operating的异构机器人团队通常必须完成需要协作和在线获取信息以进行适应的复杂任务。由于机器人团队经常在非结构化环境中operation——即不确定、开放世界的环境，没有先验地图——子任务必须以机器人能力和物理世界为grounding。虽然异构团队通常为固定规格而设计，但生成式智能为能够完成由自然语言描述的广泛任务范围的团队打开了可能性。然而，当前的大型语言模型(LLM)-enabled团队方法通常假设结构化且已知的环境，限制了在非结构化环境中的部署。我们提出SPINE-HT框架，通过三个阶段来解决这些限制，将LLM的推理能力通过grounding到异构机器人团队的上下文中。给定描述任务目标和团队能力的语言规范，LLM生成grounded子任务并进行可行性验证。子任务随后根据诸如可遍历性或感知能力等能力进行分配，并在收集的在线反馈后进行细化。在仿真实验中，结合闭环感知和控制，本框架的成功率几乎是先前LLM-enabled异构团队方法的一倍。在实际实验中，使用Clearpath Jackal、Clearpath Husky、Boston Dynamics Spot和高空目视巡航器(UAV)，本方法在需要推理机器人能力并通过在线反馈细化子任务的任务中实现87%的成功率。更多信息请参见https://zacravichandran.github.io/SPINE-HT。
引用
@article{arxiv.2510.26915,
title = {Heterogeneous Robot Collaboration in Unstructured Environments with Grounded Generative Intelligence},
author = {Zachary Ravichandran and Fernando Cladera and Ankit Prabhu and Jason Hughes and Varun Murali and Camillo Taylor and George J. Pappas and Vijay Kumar},
journal= {arXiv preprint arXiv:2510.26915},
year = {2025}
}