基于多模态大语言模型的无人机群集：面向高效智能自主航空系统
机器人学
2025-06-17 v1
摘要
近期在多模态大型语言模型（MLLM）方面的突破赋予了 AI 系统在文本、图像和视频流之间统一的感知、推理和自然语言交互能力。与此同时，无人机（UAV）群集正日益在动态、安全关键的任务中部署，要求实现快速的情境理解和自主适应。本文探索将 MLLM 与无人机群集集成以提升其在各类任务中的智能性和适应性的潜在解决方案。具体而言，我们首先概述无人机和 MLLM 的基本架构与功能。随后，我们分析 MLLM 如何提升无人机系统在目标检测、自主导航和多智能体协调方面的性能，同时探讨将 MLLM 集成到无人机系统中的方案。接着，我们提出一个实用案例研究，聚焦森林火灾抢救。为充分展现所提出框架的能力，研究考察了人机交互、群集任务规划、火情评估和任务执行。最后，我们讨论了面向 MLLM 支持的无人机群集的挑战及未来研究方向。实验示意视频可在线观看 https://youtu.be/zwnB9ZSa5A4。
引用
@article{arxiv.2506.12710,
title = {Multimodal Large Language Models-Enabled UAV Swarm: Towards Efficient and Intelligent Autonomous Aerial Systems},
author = {Yuqi Ping and Tianhao Liang and Huahao Ding and Guangyu Lei and Junwei Wu and Xuan Zou and Kuan Shi and Rui Shao and Chiya Zhang and Weizheng Zhang and Weijie Yuan and Tingting Zhang},
journal= {arXiv preprint arXiv:2506.12710},
year = {2025}
}
备注
8 pages, 5 figures,submitted to IEEE wcm