非自回归神经机器翻译:呼吁清晰化
计算与语言
2022-10-24 v2 机器学习
摘要
非自回归方法旨在通过仅需一次前向传播生成输出序列,而非迭代地产生每个预测词符,从而提升翻译模型的推理速度。因此,由于涉及输出词符相互依赖的若干问题,其翻译质量仍往往劣于自回归对应方法。本工作中,我们退一步重新审视若干已提出的用于改进非自回归翻译模型的技术,并在第三方测试环境下比较它们组合的翻译质量与速度影响。我们为使用长度预测或基于CTC的架构变体建立强基线提供了新见解,并使用sacreBLEU在四个翻译任务上贡献了标准化的BLEU、chrF++和TER分数,这至关重要,因为分词BLEU使用的不一致导致高达1.7个BLEU点的偏差。我们的开源代码已集成至fairseq以保证可复现性。
引用
@article{arxiv.2205.10577,
title = {Non-Autoregressive Neural Machine Translation: A Call for Clarity},
author = {Robin M. Schmidt and Telmo Pires and Stephan Peitz and Jonas Lööf},
journal= {arXiv preprint arXiv:2205.10577},
year = {2022}
}
备注
Accepted at EMNLP 2022