EMOS：具身感知的异构多机器人操作系统与LLM智能体

异构多机器人系统（HMRS）已成为解决单个机器人无法独立完成的复杂任务的强大方法。当前基于大语言模型的多智能体系统（LLM-based MAS）在软件开发和操作系统等领域已取得成功，但将这些系统应用于机器人控制提出了独特的挑战。特别是，多机器人系统中每个智能体的能力本质上与机器人的物理构成相关，而非预定义的角色。为解决这一问题，我们引入了一个新颖的多智能体框架，旨在实现具有不同具身形态和能力的异构机器人之间的有效协作，并提出了一个名为Habitat-MAS的新基准。我们的关键设计之一是$\textit{Robot Resume}$：我们提出了一种自我提示的方法，而非采用人为设计的角色扮演，智能体通过理解机器人URDF文件并调用机器人运动学工具，生成其物理能力的描述，以指导其在任务规划和动作执行中的行为。Habitat-MAS基准旨在评估多智能体框架如何处理需要具身感知推理的任务，包括1）操作，2）感知，3）导航，以及4）综合性的多层物体重排。实验结果表明，机器人的简历和我们多智能体系统的分层设计对于异构多机器人系统在这一复杂问题背景下的有效运行至关重要。