SkyVLN：面向城市环境的无人机视觉语言导航与NMPC控制

无人机（UAV）凭借其灵活性和适应性，已成为跨越多个领域的多用途工具。本文介绍了SkyVLN——一种新型框架，将视觉语言导航（VLN）与非线性模型预测控制（NMPC）集成，以提升UAV在复杂城市环境中的自主性。不同于传统导航方法，SkyVLN利用大语言模型（LLM）解释自然语言指令和视觉观察，使UAV能够在动态三维空间中实现更精确、更稳健的导航。我们构建了具备细粒度空间语音化器和历史路径记忆机制的多模态导航智能体。这些组件使UAV能够消除歧义的空间语境、处理模糊指令，并在必要时进行回溯。该框架还集成了NMPC模块，用于动态障碍物规避，确保精确的轨迹跟踪和碰撞预防。为验证我们的方法，我们开发了基于AirSim的高保真三维城市仿真环境，具备逼真的图像和动态城市元素。大量实验表明，SkyVLN在新出现的、未见过的环境中显著提升了导航成功率和效率。