多语言 BERT 嵌入空间的各向同性分析
计算与语言
2022-03-18 v2
摘要
若干研究探讨了多语言预训练模型（如多语言 BERT）在捕获共享语言知识方面的各种优势。然而，对其局限性的关注较少。在本文中，我们针对单语模型的两个已知问题——各向异性嵌入空间与离群维度——对多语言 BERT 进行了研究。我们表明，与单语对应模型不同，多语言 BERT 模型在其表示中未呈现离群维度，但其具有高度各向异性的空间。单语 BERT 中有少数维度对各向异性分布贡献较大。然而，我们在多语言 BERT 中未观察到此类维度。此外，我们的实验结果表明，提升多语言空间的各向同性可显著改善其表征能力与性能，这与在语义相似度任务中对单语 CWRs 的观察类似。我们的分析表明，尽管退化方向不同，各语言的嵌入空间在其结构上趋于部分相似。
引用
@article{arxiv.2110.04504,
title = {An Isotropy Analysis in the Multilingual BERT Embedding Space},
author = {Sara Rajaee and Mohammad Taher Pilehvar},
journal= {arXiv preprint arXiv:2110.04504},
year = {2022}
}
备注
To appear in the findings of ACL 2022