通过低逻辑秩对现代语言模型进行可证明学习
机器学习
2025-12-11 v1 人工智能
数据结构与算法
机器学习
摘要
虽然现代语言模型及其内部工作原理极为复杂，但近期工作（Golowich、Liu 和 Shetty；2025）提出了一种简单且可能可处理的抽象，基于观察到这些语言模型在实践中都具有约等于低逻辑秩的事实。大致地说，这意味着由模型对各种标记在特定标记序列条件下的概率形成的矩阵被低秩矩阵良好近似。本文的焦点是理解如何利用这一结构在算法上获取可证明的学习保证。由于低逻辑秩模型可以编码难以学习的分布，如带噪声的奇偶校验，我们研究一种查询学习模型，包含逻辑查询，反映常见 API 的访问模型。我们的主要结果是，对任何约等于低逻辑秩模型的高效学习算法。我们强调，我们的结构假设与在现代语言模型中观察到的行为密切相关。因此，我们相信这是首个捕获可能代表现代语言模型的生成模型的端到端学习保证。
引用
@article{arxiv.2512.09892,
title = {Provably Learning from Modern Language Models via Low Logit Rank},
author = {Noah Golowich and Allen Liu and Abhishek Shetty},
journal= {arXiv preprint arXiv:2512.09892},
year = {2025}
}