关于单语模型学习语言无关表示的能力
计算与语言
2021-10-26 v2
摘要
预训练多语模型已成为零样本跨语言迁移的事实上的默认方法。先前的工作表明，当使用共享参数在两种或更多语言上预训练时，这些模型能够实现跨语言表示。在本工作中，我们提供证据表明，即使仅在单一语言上预训练，模型也能实现语言无关表示。即，我们发现，在不同语言上预训练和微调的单语模型，相较于使用相同目标语言的模型，取得了具有竞争力的性能。令人惊讶的是，无论预训练语言如何，模型在同一任务上表现出相似的性能。例如，在德语和葡萄牙语等远距离语言上预训练的模型在英语任务上表现相似。
引用
@article{arxiv.2109.01942,
title = {On the ability of monolingual models to learn language-agnostic representations},
author = {Leandro Rodrigues de Souza and Rodrigo Nogueira and Roberto Lotufo},
journal= {arXiv preprint arXiv:2109.01942},
year = {2021}
}