最近邻非自回归文本生成
计算与语言
2022-08-29 v1
摘要
非自回归（NAR）模型能以比自回归模型更少的计算量生成句子，但牺牲了生成质量。先前的研究通过迭代解码解决该问题。本研究提出使用最近邻作为 NAR 解码器的初始状态并对其进行迭代编辑。我们提出了一种新颖的训练策略，以学习对邻居的编辑操作来改进 NAR 文本生成。实验结果表明，所提方法（NeighborEdit）在 JRC-Acquis En-De 数据集（使用最近邻的机器翻译常用基准数据集）上以更少的解码迭代（少十八分之一的迭代）取得了更高的翻译质量（比 vanilla Transformer 高 1.69 分）。我们也在数据到文本任务（WikiBio）上确认了所提方法的有效性。此外，所提方法在 WMT'14 En-De 数据集上优于一个 NAR 基线。我们还报告了对所提方法中使用的最近邻样本的分析。
引用
@article{arxiv.2208.12496,
title = {Nearest Neighbor Non-autoregressive Text Generation},
author = {Ayana Niwa and Sho Takase and Naoaki Okazaki},
journal= {arXiv preprint arXiv:2208.12496},
year = {2022}
}