论单语表示的跨语言可迁移性
计算与语言
2021-12-28 v3 人工智能
机器学习
摘要
最先进的无监督多语言模型（例如 multilingual BERT）已被证明可在零样本跨语言设定下泛化。这种泛化能力被归因于共享子词词表以及跨多种语言的联合训练，从而产生了深层的多语言抽象。我们通过设计一种替代方法来评估这一假设，该方法在词汇层面将单语模型迁移到新语言。更具体地，我们首先在一种语言上训练基于 transformer 的掩码语言模型，并通过以相同的掩码语言建模目标学习新的嵌入矩阵、冻结所有其他层的参数，将其迁移到新语言。该方法不依赖于共享词表或联合训练。然而，我们表明其在标准跨语言分类基准以及一个新的跨语言问答数据集（XQuAD）上与 multilingual BERT 具有竞争力。我们的结果与时下关于多语言模型泛化能力基础的普遍认知相悖，并表明深层单语模型学习到了某些跨语言泛化的抽象。我们还发布了 XQuAD 作为一个更全面的跨语言基准，其包含由专业译者从 SQuAD v1.1 翻译成十种语言的 240 个段落与 1190 个问答对。
引用
@article{arxiv.1910.11856,
title = {On the Cross-lingual Transferability of Monolingual Representations},
author = {Mikel Artetxe and Sebastian Ruder and Dani Yogatama},
journal= {arXiv preprint arXiv:1910.11856},
year = {2021}
}
备注
ACL 2020