多语翻译中干扰的成因与对策

Uri Shaham; Maha Elbayad; Vedanuj Goswami; Omer Levy; Shruti Bhosale

多语翻译中干扰的成因与对策

计算与语言 2023-05-22 v3 人工智能机器学习

作者: Uri Shaham , Maha Elbayad , Vedanuj Goswami , Omer Levy , Shruti Bhosale

摘要

多语机器翻译模型可从不同语言对之间的协同中获益，但也会遭受干扰。尽管旨在消除干扰的复杂方法日益增多，我们对干扰这一现象的理解仍然有限。本工作识别了导致多语机器翻译中干扰的主要因素。通过系统性实验，我们发现干扰（或协同）主要由模型大小、数据大小以及各语言对在整个数据集中的占比决定。我们观察到，实质性干扰主要发生在模型相对于可用训练数据非常小时，而使用少于十亿参数的标准 transformer 配置可大幅缓解干扰并促进协同。此外，我们表明调整采样温度以控制数据中各语言对的比例，是有效平衡低资源与高资源语言对之间干扰程度并实现整体更优性能的关键。

关键词

多语机器翻译干扰协同模型大小采样温度 transformer

引用

@article{arxiv.2212.07530,
  title  = {Causes and Cures for Interference in Multilingual Translation},
  author = {Uri Shaham and Maha Elbayad and Vedanuj Goswami and Omer Levy and Shruti Bhosale},
  journal= {arXiv preprint arXiv:2212.07530},
  year   = {2023}
}

备注

ACL 2023

多语翻译中干扰的成因与对策

摘要

关键词

引用

备注

相关论文