mOthello: 跨语言表示对齐与跨语言迁移在多语言模型中何时涌现？
计算与语言
2024-04-22 v1 人工智能
摘要
许多预训练多语言模型表现出跨语言迁移能力，这通常归因于预训练期间学习到的语言无关表示。然而，目前尚不清楚哪些因素有助于学习语言无关表示，以及所学到的语言无关表示是否足以促进跨语言迁移。我们提出了一项合成任务——多语言黑白棋，作为深入探究这两个问题的测试平台。我们发现：(1) 使用朴素多语言预训练训练的模型无法在所有输入语言中学习到语言无关表示；(2) 引入“锚点标记”（即在不同语言中相同的词项）有助于跨语言表示对齐；(3) 仅学习语言无关表示不足以促进跨语言迁移。基于我们的发现，我们提出了一种新方法——具有统一输出空间的多语言预训练，该方法既能诱导学习语言无关表示，又能促进跨语言迁移。
引用
@article{arxiv.2404.12444,
title = {mOthello: When Do Cross-Lingual Representation Alignment and Cross-Lingual Transfer Emerge in Multilingual Models?},
author = {Tianze Hua and Tian Yun and Ellie Pavlick},
journal= {arXiv preprint arXiv:2404.12444},
year = {2024}
}
备注
Accepted at Findings of NAACL 2024. Project Webpage: https://multilingual-othello.github.io/