基于网格视图选择与地图构建的航空视觉语言导航
计算机视觉与模式识别
2025-03-17 v1
摘要
航空视觉语言导航 (Aerial VLN) 旨在使无人机智能体遵循人类指令在航空 3D 环境中导航。与地面 VLN 相比，航空 VLN 要求智能体基于第一人称视角观察在水平和垂直方向上决定下一个动作。由于更长的导航路径、更复杂的 3D 场景以及忽略垂直与水平动作之间的相互作用，以往的方法难以取得良好表现。在本文中，我们提出了一种新颖的基于网格的视图选择框架，将航空 VLN 动作预测表述为基于网格的视图选择任务，以考虑与水平动作耦合的方式纳入垂直动作预测，从而实现有效的海拔调整。我们进一步引入了用于航空空间的基于网格的鸟瞰图地图，以融合导航历史中的视觉信息，提供上下文场景信息，并减轻障碍物的影响。最后，采用跨模态 Transformer 将长导航历史与指令进行显式对齐。我们在大量实验中展示了该方法的优越性。
引用
@article{arxiv.2503.11091,
title = {Aerial Vision-and-Language Navigation with Grid-based View Selection and Map Construction},
author = {Ganlong Zhao and Guanbin Li and Jia Pan and Yizhou Yu},
journal= {arXiv preprint arXiv:2503.11091},
year = {2025}
}
备注
Under Submission