跨语言中和：探查多语言模型中语言信息的联合编码
计算与语言
2021-03-16 v2
摘要
多语言句子编码器被广泛用于跨语言迁移 NLP 模型。然而，这种迁移的成功取决于模型编码跨语言相似性与差异模式的能力。迄今为止，关于这些模型如何实现这一点知之甚少。我们提出一种简单方法来研究两种最先进的多语言模型（即 M-BERT 和 XLM-R）中语言间关系是如何被编码的。结果揭示了它们的信息共享机制，并表明在这些模型中，语言属性是在类型学相似的语言间联合编码的。
引用
@article{arxiv.2010.12825,
title = {Cross-neutralising: Probing for joint encoding of linguistic information in multilingual models},
author = {Rochelle Choenni and Ekaterina Shutova},
journal= {arXiv preprint arXiv:2010.12825},
year = {2021}
}