Scifaro

中文

基于位置学习的非自回归Transformer

计算与语言 2019-12-02 v1 机器学习

作者: Yu Bao , Hao Zhou , Jiangtao Feng , Mingxuan Wang , Shujian Huang , Jiajun Chen , Lei LI

在 arXiv 上查看 ↗ PDF ↗

摘要

非自回归模型在各种文本生成任务上颇具前景。先前工作很少考虑显式建模生成词的位置。然而，位置建模是非自回归文本生成中的一个本质问题。本研究提出PNAT，将位置作为潜变量引入文本生成过程。实验结果表明，PNAT在机器翻译与复述生成任务上取得了顶尖结果，优于若干强基线。

关键词

非自回归生成 Transformer 位置学习机器翻译复述生成 PNAT

引用

@article{arxiv.1911.10677,
  title  = {Non-autoregressive Transformer by Position Learning},
  author = {Yu Bao and Hao Zhou and Jiangtao Feng and Mingxuan Wang and Shujian Huang and Jiajun Chen and Lei LI},
  journal= {arXiv preprint arXiv:1911.10677},
  year   = {2019}
}