基于 Transformer 的拓扑规划用于视觉与语言导航
机器人学
2020-12-11 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
传统的视觉与语言导航（VLN）方法以端到端方式训练，但在可自由遍历的环境中表现不佳。受机器人学界的启发，我们提出了一种利用拓扑地图的模块化 VLN 方法。给定自然语言指令和拓扑地图，我们的方法利用注意力机制预测地图中的导航计划。随后该计划由鲁棒控制器以底层动作（如前进、旋转）执行。实验表明，我们的方法优于以往的端到端方法，生成可解释的导航计划，并展现出回溯等智能行为。
引用
@article{arxiv.2012.05292,
title = {Topological Planning with Transformers for Vision-and-Language Navigation},
author = {Kevin Chen and Junshen K. Chen and Jo Chuang and Marynel Vázquez and Silvio Savarese},
journal= {arXiv preprint arXiv:2012.05292},
year = {2020}
}