用于多语言机器翻译的语言感知束搜索解码
计算与语言
2024-08-13 v1
摘要
束搜索解码是解码自回归神经机器翻译（NMT）模型的默认方法，包括以目标语言作为输入的多语言 NMT。然而，多语言 NMT 模型的解码常常产生「偏离目标」的翻译——生成非预期语言的翻译输出。在本文中，我们首先对强多语言 NMT 模型的偏离目标翻译进行错误分析，并识别这些解码如何在束搜索过程中产生。然后我们提出语言感知束搜索（LiBS），一种将现成语言识别（LiD）模型融入束搜索解码的通用解码算法，以减少偏离目标翻译。LiBS 是一种推理时过程，对 NMT 模型不可知，且不需要任何额外的平行数据。结果表明，我们提出的 LiBS 算法在 WMT 和 OPUS 数据集上平均分别提升 +1.1 BLEU 和 +0.9 BLEU，并将偏离目标率从 22.9% 降至 7.7%，从 65.8% 降至 25.3%。
引用
@article{arxiv.2408.05738,
title = {Language-Informed Beam Search Decoding for Multilingual Machine Translation},
author = {Yilin Yang and Stefan Lee and Prasad Tadepalli},
journal= {arXiv preprint arXiv:2408.05738},
year = {2024}
}
备注
ACL 2024 Findings