用于神经序列生成的同步双向推断
计算与语言
2019-02-26 v1 机器学习
摘要
在序列到序列生成任务（例如机器翻译和摘要生成）中，推断通常以从左到右的方式逐词产生结果。诸如 LSTM 和自注意力网络等神经方法现在能够在推断过程中充分利用从左端得到的全部已预测历史假设，但无法同时访问任何未来（右端）信息，且通常生成不平衡的输出，其中左半部分远比右半部分准确。在本工作中，我们提出一种同步双向推断模型，利用从左到右和从右到左解码同时且交互式地生成输出。首先，我们引入一种新颖的束搜索算法以促进同步双向解码。然后，我们提出核心方法使从左到右和从右到左解码相互交互，从而在推断时同时利用历史和未来预测。我们将所提模型应用于 LSTM 和自注意力网络。此外，我们提出两种参数优化策略。在机器翻译和摘要生成上的大量实验表明，我们的同步双向推断模型相较强基线可取得显著提升。
引用
@article{arxiv.1902.08955,
title = {Synchronous Bidirectional Inference for Neural Sequence Generation},
author = {Jiajun Zhang and Long Zhou and Yang Zhao and Chengqing Zong},
journal= {arXiv preprint arXiv:1902.08955},
year = {2019}
}
备注
27 pages