通过学习目标类别码实现非自回归翻译
计算与语言
2021-03-23 v1 人工智能
摘要
非自回归 Transformer 是一种有前景的文本生成模型。然而，当前的非自回归模型在翻译质量上仍落后于其自回归对应模型。我们将这一精度差距归因于解码器输入间缺乏依赖建模。本文提出 CNAT，其将隐式类别码作为潜变量学习到非自回归解码中。这些类别码之间的交互弥补了缺失的依赖并提升了模型容量。实验结果表明，与若干强基线相比，我们的模型在机器翻译任务中取得了相当或更好的性能。
引用
@article{arxiv.2103.11405,
title = {Non-Autoregressive Translation by Learning Target Categorical Codes},
author = {Yu Bao and Shujian Huang and Tong Xiao and Dongqi Wang and Xinyu Dai and Jiajun Chen},
journal= {arXiv preprint arXiv:2103.11405},
year = {2021}
}
备注
11 pages, 3 figures, 7 tables. Accepted by NAACL-2021