GhostShell：面向并发具身编程的大语言模型函数调用流式化
机器人学
2025-08-11 v2
摘要
我们提出GhostShell，这是一种新颖的方法，利用大语言模型（LLM）实现具身系统的流式和并发行为编程。与依赖预定义动作序列或行为树的常规方法不同，GhostShell通过不断从LLM流式输出的标记中发出函数调用，来驱动具身系统即时行动。GhostShell包含流式XML函数标记解析器、动态函数接口映射器以及多通道调度器，协调单元通道内的同步函数调用和跨通道的异步函数调用，从而在LLM指引下协调多个机器人组件之间的串并联具身动作。我们在自研的机器人原型COCO上进行了全面的实地实验，涵盖34个真实世界交互任务以及多个LLM后端。结果表明，采用Claude-4-Sonnet时，我们的方法在行为正确性指标上达到0.85的状态最佳成绩，相较于原生LLM函数调用API，响应速度提升了最高达66倍。GhostShell在长时序多模态任务中也表现出色，具有强大的鲁棒性和泛化能力。
引用
@article{arxiv.2508.05298,
title = {GhostShell: Streaming LLM Function Calls for Concurrent Embodied Programming},
author = {Jian Gong and Youwei Huang and Bo Yuan and Ming Zhu and Zhou Liao and Jianhang Liang and Juncheng Zhan and Jinke Wang and Hang Shu and Mingyue Xiong and Yanjun Ye and Yufan Zu and Yang Zhou and Yihan Ding and Xuannian Chen and Xingyu Lu and Runjie Ban and Bingchao Huang and Fusen Liu},
journal= {arXiv preprint arXiv:2508.05298},
year = {2025}
}
备注
17 pages, 5 figures, conference