解析目标端迁移与正则化在多语言机器翻译中的作用
计算与语言
2024-02-06 v1 人工智能
机器学习
摘要
多语言机器翻译（MMT）受益于不同语言对之间的知识迁移。然而，与多对一翻译相比，一对多翻译的改进微乎其微，有时甚至可忽略不计。这种性能差异引发了一个问题：在一对多机器翻译中，正迁移在目标端究竟发挥了多大作用？本文进行了一项大规模研究，沿两个维度（即语言相似性和语料库大小）变化辅助目标端语言，以展示知识迁移对主要语言对的动态影响。我们表明，语言相似的辅助目标语言具有很强的正知识迁移能力。随着相似目标语言规模的增大，正迁移进一步增强，从而惠及主要语言对。同时，我们发现，即使正迁移能力极低，不相似的辅助目标语言也能意外地惠及主要语言对。除了迁移之外，我们表明不相似的辅助目标语言可以充当正则化器，通过增强泛化和模型推理校准来提升翻译性能。
引用
@article{arxiv.2402.01772,
title = {Disentangling the Roles of Target-Side Transfer and Regularization in Multilingual Machine Translation},
author = {Yan Meng and Christof Monz},
journal= {arXiv preprint arXiv:2402.01772},
year = {2024}
}