语言模型输出分布采样引入误差与其内部状态的几何关系
机器学习
2026-05-12 v2
摘要
GPT 风格语言模型对生成点处的单 token 变更很敏感，在这些点上预测概率分布分散在多个 token 上。将这种敏感性视为一种几何属性，我们推导出一个仅依赖于 token 嵌入几何的 值 1-形式。尽管其起源纯粹是几何的，我们表明其曲率具有语义意义：在国际象棋推理任务中，该曲率与现成指令微调模型的世界模型耦合，其变换按棋盘区域聚类并遵循棋子重要性。我们的发现表明，token 空间几何直接反映了模型内部表示问题的方式。
引用
@article{arxiv.2605.04899,
title = {A geometric relation of the error introduced by sampling a language model's output distribution to its internal state},
author = {Albert F. Modenbach},
journal= {arXiv preprint arXiv:2605.04899},
year = {2026}
}
备注
12 Pages, 10 Figures, 2 Appendices. To appear in Proceedings of ICML 2026