有监督 NLP 任务中零样本跨语言迁移的分析
计算与语言
2021-01-27 v1 人工智能
摘要
在零样本跨语言迁移中，在一个语言语料库上训练的有监督 NLP 任务可直接应用于另一语言而无需任何额外训练。跨语言迁移的一个来源可以简单到语言之间的词汇重叠（例如，使用相同文字、共享子词），这自然迫使文本嵌入占据相似的表示空间。最近提出的跨语言语言模型（XLM）预训练将 Transformer 风格网络中的神经参数共享带出为迁移最重要的因素。在本文中，我们旨在验证由 XLM 预训练引发的假设上的强跨语言迁移性质。特别地，我们在实验中采用 XLM-RoBERTa (XLMR)，将语义文本相似度（STS）、SQuAD 和 KorQuAD 扩展用于机器阅读理解、情感分析以及不同跨语言设定下的句子嵌入对齐。我们的结果表明，跨语言迁移的存在在 STS 中最显著，其次是情感分析，最后是 MRC。即，下游任务的复杂性削弱了跨语言迁移的程度。我们所有的结果均经经验性观察与度量，并且我们公开了代码与数据。
引用
@article{arxiv.2101.10649,
title = {Analyzing Zero-shot Cross-lingual Transfer in Supervised NLP Tasks},
author = {Hyunjin Choi and Judong Kim and Seongho Joe and Seungjai Min and Youngjune Gwon},
journal= {arXiv preprint arXiv:2101.10649},
year = {2021}
}
备注
6 pages, 4 figures, to be published in 25th International Conference on Pattern Recognition, ICPR 2020