在街景中学习遵循指令导航
人工智能
2019-11-25 v2 计算与语言
计算机视觉与模式识别
摘要
在真实世界中导航与理解仍是机器学习的关键挑战，并激发了诸如语言接地、规划、导航和计算机视觉等领域的大量研究。我们提出了一项需要上述所有能力的指令跟随任务，该任务将模拟环境的实用性与其模糊、含噪的真实世界数据挑战相结合。StreetNav 构建于 Google 街景之上，提供代表真实地点的视觉精确环境。智能体被给予驾驶指令，其必须学会解读以在该环境中成功导航。由于配备驾驶指令的人类能够轻易在先前未见过城市中导航，我们设定了高标杆并测试我们所训练智能体的类似认知能力。尽管深度强化学习（RL）方法频繁仅在紧密遵循训练分布的数据上评估，我们的数据集扩展到多个城市并具有干净的训练/测试划分。这使得对泛化能力的彻底测试成为可能。本文介绍了 StreetNav 环境与任务、建立强基线的模型，以及对任务和所训练智能体的广泛分析。
引用
@article{arxiv.1903.00401,
title = {Learning To Follow Directions in Street View},
author = {Karl Moritz Hermann and Mateusz Malinowski and Piotr Mirowski and Andras Banki-Horvath and Keith Anderson and Raia Hadsell},
journal= {arXiv preprint arXiv:1903.00401},
year = {2019}
}