基于预训练语言模型的非自回归文本生成
计算与语言
2021-02-17 v1
摘要
非自回归生成(NAG)因其快速的推理速度近来备受关注。然而,现有 NAG 模型的生成质量仍落后于其自回归对应模型。本工作中,我们展示 BERT 可用作 NAG 模型的骨干以大幅提升性能。此外,我们设计机制以缓解朴素 NAG 模型的两个常见问题:预设输出长度的不灵活性,以及各词元预测的条件独立性。最后,为进一步提升所提模型的速度优势,我们提出一种新的解码策略 ratio-first,用于输出长度可事先近似估计的应用。为全面评估,我们在三个文本生成任务上测试所提模型,包括文本摘要、句子压缩与机器翻译。实验结果表明,我们的模型显著优于现有非自回归基线,并达到与许多强自回归模型相竞争的性能。此外,我们还进行了广泛的分析实验以揭示各提出组件的作用。
引用
@article{arxiv.2102.08220,
title = {Non-Autoregressive Text Generation with Pre-trained Language Models},
author = {Yixuan Su and Deng Cai and Yan Wang and David Vandyke and Simon Baker and Piji Li and Nigel Collier},
journal= {arXiv preprint arXiv:2102.08220},
year = {2021}
}
备注
Accepted to EACL 2021