AeroDuo：面向无人机视觉与语言导航的空中双机协作框架
计算机视觉与模式识别
2025-08-22 v1
摘要
空中视觉与语言导航（VLN）是一项新兴任务，旨在使无人机（UAV）能够利用自然语言指令和视觉线索在室外环境中导航。然而，由于无人机轨迹较长且机动性复杂，实现可靠的无人机VLN性能具有挑战性，通常需要人工干预或过于详细的指令。为了利用无人机高机动性可提供多粒度视角的优势，同时保持可学习的可控运动空间，我们引入了一项名为双高度无人机协作VLN（DuAl-VLN）的新任务。在该任务中，两架无人机在不同高度运行：高空无人机负责广域环境推理，低空无人机负责精确导航。为支持DuAl-VLN的训练与评估，我们构建了HaL-13k数据集，该数据集包含13,838条高低空无人机协作演示轨迹，每条轨迹均配有面向目标的语言指令。该数据集包含未见地图和未见物体验证集，以系统评估模型在新环境和未见目标上的泛化能力。为整合其互补优势，我们提出了一个双无人机协作VLN框架AeroDuo，其中高空无人机集成多模态大语言模型（Pilot-LLM）进行目标推理，而低空无人机采用轻量级多阶段策略进行导航和目标定位。两架无人机协同工作，仅交换最少的坐标信息以确保效率。
引用
@article{arxiv.2508.15232,
title = {AeroDuo: Aerial Duo for UAV-based Vision and Language Navigation},
author = {Ruipu Wu and Yige Zhang and Jinyu Chen and Linjiang Huang and Shifeng Zhang and Xu Zhou and Liang Wang and Si Liu},
journal= {arXiv preprint arXiv:2508.15232},
year = {2025}
}
备注
Accepted by ACM MM 2025