深度语言几何：从大语言模型权重构建度量空间

我们提出了一种新框架，利用现代大语言模型(LLM)的内部权重激活来构建语言的度量空间。不同于基于手工语言特征的传统方法，我们的方法通过适应化修剪算法计算权重重要性得分，自动从高维向量表示中提取信息。我们的做法捕捉反映语言现象的内在语言特征。我们在多样化的数据集和多语言LLM上验证了该方法，覆盖106种语言。结果与既定的语言家族一致，同时也揭示了可能指示历史接触或语言演变的意想不到的语言间联系。源码、计算得到的语言潜在向量以及可视化工具已公开发布于 https://github.com/mshamrai/deep-language-geometry。