多语言翻译中子词与跨语言迁移的系统分析
计算与语言
2024-04-01 v1
摘要
多语言建模可以通过共享子词表示来改善低资源语言的机器翻译。本文研究了子词分割在跨语言迁移中的作用。我们系统比较了几种子词方法在促进不同语言类型学之间的协同和防止干扰方面的有效性。我们的发现表明，子词正则化增强了多语言建模中的协同作用，而BPE在跨语言微调期间更有效地促进迁移。值得注意的是，我们的结果表明，正字法词边界约定（书面词的形态粒度）的差异可能比语言不相关性更严重地阻碍跨语言迁移。我们的研究证实，子词建模的决策可能是优化多语言建模收益的关键。
引用
@article{arxiv.2403.20157,
title = {A Systematic Analysis of Subwords and Cross-Lingual Transfer in Multilingual Translation},
author = {Francois Meyer and Jan Buys},
journal= {arXiv preprint arXiv:2403.20157},
year = {2024}
}