听、关注与行走：导航指令到动作序列的神经映射

Hongyuan Mei; Mohit Bansal; Matthew R. Walter

听、关注与行走：导航指令到动作序列的神经映射

计算与语言 2015-12-18 v4 人工智能机器学习神经与进化计算机器人学

作者: Hongyuan Mei , Mohit Bansal , Matthew R. Walter

摘要

我们提出一种用于方向跟随的神经序列到序列模型，该任务对于实现有效的自主智能体至关重要。我们基于对齐的编码器-解码器模型采用长短期记忆循环神经网络 (LSTM-RNN)，基于可观测世界状态的表示将自然语言指令翻译为动作序列。我们引入一种多级对齐器，通过使用输入句子的多种抽象，使我们的模型能够聚焦于对当前世界状态显著的句子“区域”。与现有方法相反，我们的模型不使用专门的语言学资源（例如解析器）或任务特定的标注（例如种子词典）。因此它是可泛化的，且仍在基准单句数据集上取得了迄今报道的最佳结果，并在有限训练的多句设定下取得有竞争力的结果。我们通过一系列消融实验分析我们的模型，从而阐明模型主要组件的贡献。

关键词

神经序列到序列模型方向跟随导航指令动作序列 LSTM-RNN 多级对齐器自主智能体

引用

@article{arxiv.1506.04089,
  title  = {Listen, Attend, and Walk: Neural Mapping of Navigational Instructions to Action Sequences},
  author = {Hongyuan Mei and Mohit Bansal and Matthew R. Walter},
  journal= {arXiv preprint arXiv:1506.04089},
  year   = {2015}
}

备注

To appear at AAAI 2016 (and an extended version of a NIPS 2015 Multimodal Machine Learning workshop paper)

听、关注与行走：导航指令到动作序列的神经映射

摘要

关键词

引用

备注

相关论文