CognitiveOS：基于大型多模态模型为任何类型机器人赋予生成式 AI 的系统
机器人学
2024-03-20 v2
摘要
本文介绍了 CognitiveOS，这是首个为能够在多样化机器人平台上运行的认知机器人设计的操作系统。CognitiveOS 被构建为一个多智能体系统，包含基于 Transformer 架构构建的模块，通过内部独白格式促进通信。这些模块共同赋能机器人处理复杂的现实世界任务。本文阐述了该系统的运行原理，并描述了其九个不同的模块。模块化设计赋予了该系统相较于传统端到端方法的显著优势，尤其是在适应性和可扩展性方面。系统的模块可根据任务需求进行配置、修改或停用，同时新模块可以无缝集成。该系统为认知机器人领域的研究人员和开发者提供了一个基础资源，减轻了从头构建认知机器人系统的负担。实验结果表明，该系统在多种任务、机器人平台和模块配置下具有先进的任务理解和适应性，突显了其在实际应用中的潜力。此外，在推理类别中，它的表现优于 CognitiveDog（高出 15%）和 RT2（高出 31%），达到了迄今为止最高的 77% 的成功率。我们提供了代码库和数据集用于复现 CognitiveOS：链接将在最终版提交中提供。
引用
@article{arxiv.2401.16205,
title = {CognitiveOS: Large Multimodal Model based System to Endow Any Type of Robot with Generative AI},
author = {Artem Lykov and Mikhail Konenkov and Koffivi Fidèle Gbagbe and Mikhail Litvinov and Denis Davletshin and Aleksey Fedoseev and Miguel Altamirano Cabrera and Robinroy Peter and Dzmitry Tsetserukou},
journal= {arXiv preprint arXiv:2401.16205},
year = {2024}
}
备注
The paper is submitted to the IEEE conference