多语言语言模型的几何：一种平等视角
计算与语言
2023-05-16 v1
摘要
理解多语言语言模型中不同语言的表示，对于领会其跨语言特性、预测其在下游任务上的表现以及识别跨语言偏差至关重要。在我们的研究中，我们分析三种多语言语言模型在欧氏空间中的几何，发现所有语言均由独特几何所表示。利用几何可分离性指数，我们发现尽管语言倾向于依据其语系更相近，但它们几乎可与来自其他语系的语言分离。我们还引入跨语言相似性指数以度量语义空间中语言彼此间的距离。我们的结果表明，在任何模型中，低资源语言的表示均不如高资源语言好。
引用
@article{arxiv.2305.07839,
title = {The Geometry of Multilingual Language Models: An Equality Lens},
author = {Cheril Shah and Yashashree Chandak and Manan Suri},
journal= {arXiv preprint arXiv:2305.07839},
year = {2023}
}
备注
8 pages, 6 figues, 1st ICLR TinyPapers