FrankenBot：面向机器人操作的脑类模块化编排框架基于视觉语言模型

开发能够在复杂、动态且非结构化真实环境中执行广泛任务的通用机器人操作系统长久以来都具有挑战性。人们普遍认识到，实现类人效能和鲁棒性操作控制，机器人大脑必须整合一套完整的功能，如任务规划、策略生成、异常监控与处理以及长期记忆，从而在所有功能上实现高效运行。视觉语言模型 (VLM) 已在大规模多模态数据上进行预训练，拥有丰富的世界知识，展现出卓越的场景理解和多模态推理能力。然而，现有方法通常仅实现机器人大脑中的单一功能或部分功能，未将其整合到统一的认知架构中。灵感来自分治策略和人类大脑结构，我们提出 FrankenBot，一个由 VLM驱动的脑类机器人操作框架，实现功能全面性和高运行效率的统一。我们的框架包含一套组件，将部分关键功能从频繁调用 VLM 中解耦，在功能完整性和系统效率之间取得最佳平衡。具体而言，我们将任务规划、策略生成、记忆管理和低层接口分别映射到皮层、小脑、颞叶-海马复合体和脑干，并为各模块设计高效的协调机制。我们在仿真和真实机器人环境中进行了全面实验，表明该方法在异常检测与处理、长期记忆、运行效率和稳定性方面均具有显著优势——无需任何微调或重新训练。