空中视觉-对话导航
计算机视觉与模式识别
2023-06-02 v3 人工智能
计算与语言
摘要
与人类对话并遵循自然语言指令的能力对于智能无人机（亦称 drones）至关重要。它可以减轻人们一直手持控制器的负担，允许多任务处理，并使无人机控制对于残障人士或双手被占用的人更易用。为此，我们引入了空中视觉-对话导航（Aerial Vision-and-Dialog Navigation, AVDN），通过自然语言对话来操控无人机导航。我们构建了一个具有连续照片级真实感环境的无人机模拟器，并收集了一个新的 AVDN 数据集，包含超过 3k 条带有人与人异步对话的 recorded 导航轨迹，对话发生在指挥者与跟随者之间。指挥者提供初始导航指令并通过请求提供进一步引导，而跟随者在模拟器中操控无人机导航并在需要时提问。在数据收集过程中，还记录了跟随者对无人机视觉观测的注意力。基于 AVDN 数据集，我们研究了从（完整）对话历史进行空中导航的任务，并提出了一种有效的人类注意力辅助 Transformer 模型（Human Attention Aided Transformer, HAA-Transformer），该模型学习预测导航路径点与人类注意力。
引用
@article{arxiv.2205.12219,
title = {Aerial Vision-and-Dialog Navigation},
author = {Yue Fan and Winson Chen and Tongzhou Jiang and Chun Zhou and Yi Zhang and Xin Eric Wang},
journal= {arXiv preprint arXiv:2205.12219},
year = {2023}
}
备注
Accepted by ACL 2023 Findings