用于高质量非自回归文本生成的有向无环Transformer预训练
计算与语言
2023-04-25 v1
摘要
非自回归(NAR)文本生成模型因其在机器翻译中显著更快的解码速度和良好的生成质量而备受关注。然而,在更广泛的文本生成任务中,现有NAR模型缺乏恰当的预训练,使其仍远落后于预训练的自回归模型。本文提出预训练有向无环Transformer(PreDAT)及一种新颖的预训练任务,以提升NAR生成中的预测一致性。在五项文本生成任务上的实验表明,我们的PreDAT显著优于现有预训练NAR模型(平均提升4.2分),甚至在基于n-gram的指标上取得了优于预训练自回归基线的结果,同时吞吐量提速17倍。进一步分析表明,PreDAT受益于无偏预测顺序,缓解了自回归生成中的错误累积问题,这为NAR生成的优势提供了新的见解。
引用
@article{arxiv.2304.11791,
title = {Directed Acyclic Transformer Pre-training for High-quality Non-autoregressive Text Generation},
author = {Fei Huang and Pei Ke and Minlie Huang},
journal= {arXiv preprint arXiv:2304.11791},
year = {2023}
}
备注
Accepted at Transactions of the Association for Computational Linguistics