多语性能否惠及非自回归机器翻译？
计算与语言
2021-12-17 v1
摘要
非自回归（NAR）机器翻译近期取得显著进展，并在部分基准上超越自回归（AR）模型，为AR推理提供了高效替代方案。然而，尽管AR翻译常通过多语模型实现，并受益于语言间迁移与更高的服务效率，多语NAR模型仍相对未被充分探索。以连接主义时序分类（CTC）作为NAR模型示例、Imputer作为半NAR模型，我们给出了多语NAR的全面实证研究。我们测试了其在相关语言间正迁移与容量约束下负迁移方面的能力。由于NAR模型需要蒸馏训练集，我们仔细研究了双语与多语教师的影响。最后，我们拟合了多语NAR的缩放律，量化了随着模型规模增大其相对AR模型的性能。
引用
@article{arxiv.2112.08570,
title = {Can Multilinguality benefit Non-autoregressive Machine Translation?},
author = {Sweta Agrawal and Julia Kreutzer and Colin Cherry},
journal= {arXiv preprint arXiv:2112.08570},
year = {2021}
}