感知、表达、求解：面向协作机器人的 LLM 到 TL 框架
机器人学
2025-05-20 v1
摘要
机器人部署的增加（如仓储场景）揭示了异构机器人团队为解决未预见冲突而需要无缝协作的需求。为应对这一挑战，我们提出了一种新颖的去中心化框架，使机器人能够请求和提供帮助。该框架始于机器人使用视觉语言模型（VLM）检测冲突，然后推理是否需要帮助。若需要，机器人使用大语言模型（LLM）构建并广播自然语言（NL）求助请求。潜在的协助机器人对该请求进行推理，并在力所能及时提供帮助，同时提供其当前任务受影响的信息。协助推理通过一个基于信号时序逻辑（STL）的大语言模型实现，使用 Backus-Naur 形式（BNF）语法来保证语法正确的 NL 到 STL 翻译，随后将其作为混合整数线性规划（MILP）进行求解。最后，请求机器人通过推理对整体系统的影响来选择协助机器人。我们通过实验评估了系统，考虑了不同的选择协助机器人的策略，发现请求机器人通过考虑多个协助方案（而非简单启发式方法，如选择最近的机器人）可以最小化对系统的整体时间影响。
引用
@article{arxiv.2505.13376,
title = {Seeing, Saying, Solving: An LLM-to-TL Framework for Cooperative Robots},
author = {Dan BW Choe and Sundhar Vinodh Sangeetha and Steven Emanuel and Chih-Yuan Chiu and Samuel Coogan and Shreyas Kousik},
journal= {arXiv preprint arXiv:2505.13376},
year = {2025}
}