Logits 序列揭示语言模型的低秩结构
机器学习
2025-10-30 v1 人工智能
计算与语言
机器学习
摘要
在语言模型研究中，一个主要问题是理解其内在的低维结构。我们引入一种方法，将语言模型视为序列概率模型，以此探索其低维结构：该方法在模型无关层面上实现。我们首先经验性地表明，广泛的现代语言模型均显示出低秩结构：特别是，由模型对不同提示和响应集合的 logits 构建的矩阵具有低近似秩。随后我们表明，这一低秩结构可用于生成——特别是，我们可以使用模型在与目标提示无关或甚至无意义提示上的输出的线性组合来生成对目标提示的响应。在理论层面，我们观察到以上述方式研究语言模型的近似秩可导致一个简单且通用的抽象，其理论预测与我们的实验相吻合。我们随后分析该抽象的表示能力，给出可 provable 的学习保证。
引用
@article{arxiv.2510.24966,
title = {Sequences of Logits Reveal the Low Rank Structure of Language Models},
author = {Noah Golowich and Allen Liu and Abhishek Shetty},
journal= {arXiv preprint arXiv:2510.24966},
year = {2025}
}