在线片段到片段神经转导

我们引入了一种在线神经序列到序列模型，该模型学习在读取输入时交替编码和解码输入片段。通过独立跟踪编码和解码表示，我们的算法允许在训练期间对潜在分割进行精确的多项式边际化，并且在解码期间采用束搜索来找到最佳对齐路径以及预测的输出序列。我们的模型解决了普通编码器-解码器必须在其固定长度隐藏状态中读取并记忆整个输入序列才能产生任何输出的瓶颈。它与先前注意力模型的不同之处在于，不是将注意力权重视为确定性函数的输出，而是将注意力权重分配给可以边际化掉的序列潜在变量，并允许在线生成。在抽象句子摘要和形态屈折变化上的实验显示了比基线编码器-解码器显著的性能提升。