利用大语言模型增强模拟环境中的多任务无人机操作
机器人学
2026-01-14 v1 系统与控制
系统与控制
摘要
得益于大语言模型（LLM）的快速发展，人机与无人机交互迎来了前所未有的机遇。在本文中，我们提出了一种将微调后的 CodeT5 模型与基于 Unreal Engine 的 AirSim 无人机模拟器相集成的方法，以使用自然语言命令高效执行多任务操作。该方法允许用户通过提示或命令描述与模拟无人机进行交互，使其能够轻松访问和控制无人机状态，显著降低了操作门槛。在 AirSim 模拟器中，我们可以灵活构建视觉逼真的动态环境，以模拟复杂场景中的无人机应用。通过将 ChatGPT 生成的大量（自然语言，程序代码）命令-执行对与开发者编写的无人机代码相结合作为训练数据，我们对 CodeT5 进行微调，以实现无人机任务从自然语言到可执行代码的自动翻译。实验结果表明，所提出的方法在模拟环境中展现出优越的任务执行效率和命令理解能力。未来，我们计划以模块化方式扩展模型功能，增强其对复杂场景的适应性，并推动无人机技术在真实环境中的应用。
引用
@article{arxiv.2601.08405,
title = {Large Language Models to Enhance Multi-task Drone Operations in Simulated Environments},
author = {Yizhan Feng and Hichem Snoussi and Jing Teng and Abel Cherouat and Tian Wang},
journal= {arXiv preprint arXiv:2601.08405},
year = {2026}
}
备注
1st International Conference on Drones and Unmanned Systems (DAUS' 2025)