规划、注意力、生成：面向序列到序列模型的规划机制
机器学习
2017-11-29 v1 机器学习
摘要
我们研究了将规划机制集成到使用注意力的序列到序列模型中。我们开发了一个模型，该模型在计算输入与输出序列之间的对齐时能够在未来进行提前规划，构建一个提议的未来对齐矩阵以及一个控制是遵循还是重新计算规划的承诺向量。该机制受近期提出的用于强化学习的策略性注意力读写器（STRAW）模型的启发。我们提出的模型主要使用可微操作实现端到端训练。我们表明，在 WMT'15 的字符级翻译任务、寻找图欧拉回路的算法任务以及基于文本的问题生成上，它优于一个强基线。我们的分析表明，该模型计算出定性直观的对齐，比基线收敛更快，并以更少的参数实现更优性能。
引用
@article{arxiv.1711.10462,
title = {Plan, Attend, Generate: Planning for Sequence-to-Sequence Models},
author = {Francis Dutil and Caglar Gulcehre and Adam Trischler and Yoshua Bengio},
journal= {arXiv preprint arXiv:1711.10462},
year = {2017}
}
备注
NIPS 2017