FollowNet：基于深度强化学习遵循自然语言指令的机器人导航
机器人学
2018-09-20 v1 人工智能
计算与语言
机器学习
摘要
理解并遵循人类提供的指令可使机器人在未知情境中有效导航。我们提出FollowNet，一种用于学习多模态导航策略的端到端可微神经架构。FollowNet将自然语言指令以及视觉与深度输入映射为运动基元。FollowNet利用以其视觉与深度输入为条件的注意力机制处理指令，以在执行导航任务时聚焦于命令的相关部分。深度强化学习（RL）以稀疏奖励同时学习状态表示、注意力函数与控制策略。我们在引导智能体穿越丰富且逼真的模拟家庭数据集的复杂自然语言指令数据集上评估我们的智能体。我们展示了FollowNet智能体学会执行此前未见过的、以相似词汇描述的指令，并成功沿训练期间未遇到的路径导航。该智能体相较无注意力机制的基线模型有30%的提升，对新指令的成功率达52%。
引用
@article{arxiv.1805.06150,
title = {FollowNet: Robot Navigation by Following Natural Language Directions with Deep Reinforcement Learning},
author = {Pararth Shah and Marek Fiser and Aleksandra Faust and J. Chase Kew and Dilek Hakkani-Tur},
journal= {arXiv preprint arXiv:1805.06150},
year = {2018}
}
备注
7 pages, 8 figures