候选汤：融合候选结果提升非自回归翻译的翻译质量
计算与语言
2023-01-30 v1
摘要
非自回归翻译（NAT）模型在推理时能够同时预测所有词元，因此比自回归翻译（AT）模型实现快得多的推理速度。然而，与 AT 相比，其翻译质量存在退化。且现有 NAT 方法仅聚焦于提升 NAT 模型性能，却未充分利用它。本文提出一种简单而有效的方法“Candidate Soups”，可在保持 NAT 模型推理速度的同时获得高质量翻译。与以往挑选单个结果并丢弃其余结果的方法不同，Candidate Soups（CDS）可通过模型不确定性充分利用不同候选翻译中的有价值信息。在两个基准（WMT'14 EN-DE 和 WMT'16 EN-RO）上的大量实验证明了我们所提方法的有效性与通用性，其能显著提升多种基模型的翻译质量。更值得注意的是，我们的最佳变体在三个翻译任务上以 7.6 倍加速优于 AT 模型。
引用
@article{arxiv.2301.11503,
title = {Candidate Soups: Fusing Candidate Results Improves Translation Quality for Non-Autoregressive Translation},
author = {Huanran Zheng and Wei Zhu and Pengfei Wang and Xiaoling Wang},
journal= {arXiv preprint arXiv:2301.11503},
year = {2023}
}
备注
Accepted by EMNLP 2022