语言模型嵌入的共享全局与局部几何
计算与语言
2025-07-16 v3 机器学习
摘要
研究人员最近指出模型共享常见表示。我们发现大型语言模型的词嵌入之间存在大量几何相似性。首先，我们发现“全局”相似性：词嵌入常常共享类似的相对方向。接着，我们通过两种方式表征局部几何：（1）使用局部线性嵌入（Locally Linear Embeddings），（2）定义衡量每个嵌入内在维度的简单方法。这两种表征使我们能够在词嵌入之间找到局部相似性。此外，我们的内在维度显示嵌入位于低维流形上，内在维度较低的词汇常形成语义连贯聚类，而内在维度较高的词汇则不然。基于我们的发现，我们引入EMB2EMB，这是一个简单的方法，可将一个语言模型的驾驶向量线性变换到另一个语言模型中，尽管两者的维度不同。
引用
@article{arxiv.2503.21073,
title = {Shared Global and Local Geometry of Language Model Embeddings},
author = {Andrew Lee and Melanie Weber and Fernanda Viégas and Martin Wattenberg},
journal= {arXiv preprint arXiv:2503.21073},
year = {2025}
}