逐步信息性假设：为什么 LLM 中的熵动力学与推理相关联？
计算与语言
2026-04-09 v1 人工智能
信息论
机器学习
math.IT
摘要
近期研究使用多层表示中的基于熵的信号来研究大型语言模型（LLM）中的推理，但该领域仍主要停留在经验层面。一个核心的未解之谜是，为什么在模型预测分布下定义的内部熵动力学与由真实答案给出的外部正确性如此紧密相关。在本文中，我们论证这种相关性源于自回归模型通过答案信息性前缀积累关于真实答案的信息时能够正确推理。我们通过逐步信息性假设（SIA）形式化这一直觉，该假设指出推理前缀在生成过程中以期望方式积累答案相关信息。我们证明 SIA 自然地从人类推理轨迹的最大似然优化中产生，并通过标准微调和强化学习流水线得到加强。然后我们推导出 SIA 的可观测特征，将条件答案熵动力学与正确性联系起来。我们在多个推理基准（GSM8K、ARC、SVAMP）和多样化的开源 LLM（Gemma-2、LLaMA-3.2、Qwen-2.5、DeepSeek 和 Olmo 变体）上经验性地检验了 SIA，表明训练会诱导产生 SIA，且正确轨迹展现出特征性的条件答案熵模式。
引用
@article{arxiv.2604.06192,
title = {The Stepwise Informativeness Assumption: Why are Entropy Dynamics and Reasoning Correlated in LLMs?},
author = {Mar Gonzàlez I Català and Haitz Sáez de Ocáriz Borde and George D. Montañez and Pietro Liò},
journal= {arXiv preprint arXiv:2604.06192},
year = {2026}
}
备注
21 pages, 5 figures, 3 tables