通过对话实现飞行控制：面向PX4平台无人机的自然语言控制
机器人学
2025-06-10 v1
摘要
近期代理人和物理人工智能的进步主要集中在基于地面的平台，如人形机器人和轮式机器人，而空中机器人相对缺乏探索。同时，领先的无人机多模态视觉语言系统通常依赖只能供资源丰富组织使用的闭源模型。为 democratize 自然语言控制的自主无人机，我们present一种开源代理人框架，将PX4基于飞行控制、机器人操作系统2 (ROS 2) 中间件与本地托管模型集成使用Ollama。我们在仿真环境和定制四旋翼机平台上评估了性能，基准测试了四个大型语言模型 (LLM) 系列用于命令生成和三个视觉语言模型 (VLM) 系列用于场景理解。
引用
@article{arxiv.2506.07509,
title = {Taking Flight with Dialogue: Enabling Natural Language Control for PX4-based Drone Agent},
author = {Shoon Kit Lim and Melissa Jia Ying Chong and Jing Huey Khor and Ting Yang Ling},
journal= {arXiv preprint arXiv:2506.07509},
year = {2025}
}
备注
Source code available at: https://github.com/limshoonkit/ros2-agent-ws