基于大语言模型的上下文感知无人机群多模态交互系统 SwarmChat
机器人学
2025-09-23 v1 人机交互
摘要
传统的人类-无人机群交互方法常缺乏直观的实时自适应界面，导致决策缓慢、增加认知负荷，并限制命令灵活性。为解决此问题，本文提出SwarmChat，一个由大语言模型（LLM）驱动的上下文感知、多模态交互系统。SwarmChat支持用户通过文本、语音或遥控等多种模态向无人机群发出自然语言命令。系统集成了四个LLM模块：上下文生成器、意图识别、任务规划器和模态选择器。这些模块协同工作，从关键词生成上下文、检测用户意图、根据实时机器人状态调整命令、并建议最佳通信模态。其三层架构提供动态界面，支持固定和可自定义命令选项，实现灵活控制，同时优化认知负担。初步评估表明，SwarmChat的LLM模块提供准确的上下文解释、相关的意图识别和有效的命令传递，实现高用户满意度。
引用
@article{arxiv.2509.16920,
title = {SwarmChat: An LLM-Based, Context-Aware Multimodal Interaction System for Robotic Swarms},
author = {Ettilla Mohiuddin Eumi and Hussein Abbass and Nadine Marcus},
journal= {arXiv preprint arXiv:2509.16920},
year = {2025}
}
备注
This paper has been accepted and presented at the 16th International Conference on Swarm Intelligence (ICSI 2025), held on July 11-15, 2025, in Yokohama, Japan