AerialVLN：面向无人机的视觉-语言导航
计算机视觉与模式识别
2023-08-15 v1 人工智能
机器人学
摘要
近年来出现的视觉-语言导航（VLN）任务在计算机视觉与自然语言处理领域均引起了显著关注。现有VLN任务为在地面（室内或室外）导航的智能体而构建。然而，许多任务需要智能体在空中执行，例如基于无人机的货物投递、交通/安保巡逻以及景观游览等。空中导航比地面更为复杂，因为智能体需考虑飞行高度及更复杂的空间关系推理。为填补此空白并推动该领域研究，我们提出一项名为AerialVLN的新任务，其基于无人机并面向室外环境。我们开发了一款由25个城市级场景近真实图片渲染的3D模拟器。该模拟器支持连续导航、环境扩展与配置。我们还基于广泛使用的跨模态对齐（CMA）导航方法提出了一种扩展基线模型。我们发现基线模型与人类表现之间仍存在显著差距，这表明AerialVLN是一项新颖且具有挑战性的任务。数据集与代码见 https://github.com/AirVLN/AirVLN。
引用
@article{arxiv.2308.06735,
title = {AerialVLN: Vision-and-Language Navigation for UAVs},
author = {Shubo Liu and Hongsheng Zhang and Yuankai Qi and Peng Wang and Yaning Zhang and Qi Wu},
journal= {arXiv preprint arXiv:2308.06735},
year = {2023}
}
备注
Accepted by ICCV 2023