序列生成的广义框架及其在无向序列模型中的应用
机器学习
2020-02-10 v2 计算与语言
机器学习
摘要
诸如 BERT（Devlin 等，2019）的无向神经序列模型因在问答与自然语言推理等判别性自然语言理解任务上的成功而重新受到关注。直接从这些模型生成序列的问题相对较少受到关注，部分原因是无向模型生成明显偏离有向序列模型中的常规单调生成。我们通过提出一个统一有向与无向模型解码的序列生成广义模型来研究该问题。所提框架对生成过程而非所得序列建模，在此框架下，我们推导出多种神经序列模型作为特例，如自回归、半自回归与基于精炼的非自回归模型。这一统一使我们能将最初为有向序列模型开发的解码算法适配于无向序列模型。我们通过在类 BERT 机器翻译模型（Lample & Conneau，2019）上评估多种手工设计与学习得到的解码策略来展示这一点。所提方法取得了与同一无向序列模型线性时间翻译结果相当的常数时间翻译结果，而二者在 WMT'14 英德翻译上均与最先进水平具有竞争力。
引用
@article{arxiv.1905.12790,
title = {A Generalized Framework of Sequence Generation with Application to Undirected Sequence Models},
author = {Elman Mansimov and Alex Wang and Sean Welleck and Kyunghyun Cho},
journal= {arXiv preprint arXiv:1905.12790},
year = {2020}
}