重新审视LLM推理中的均匀信息密度假说
人工智能
2026-04-20 v3 计算与语言
摘要
均匀信息密度（UID）假说提出，有效沟通是通过维持稳定的信息流来实现的。在本工作中，我们在大型语言模型（LLM）推理的语境下重新审视了这一原则，询问步骤级别的均匀性是否反映了推理质量。为此，我们引入了一个新框架，使用基于熵的逐步密度度量来量化局部和全局两个层面的信息流均匀性。在七个推理基准上的实验中，我们观察到一种反直觉的模式：高质量推理在局部层面展现出平滑的逐步过渡和局部均匀性，而在轨迹层面则展现出结构化、非均匀的全局非均匀性。结果表明，这些均匀性比替代内部信号更能预测推理质量，并且这种与人类沟通的偏离并非模型缺陷，而是人类沟通与LLM推理之间不同目标的副产品。
引用
@article{arxiv.2510.06953,
title = {Revisiting the Uniform Information Density Hypothesis in LLM Reasoning},
author = {Minju Gwak and Guijin Son and Jaehyung Kim},
journal= {arXiv preprint arXiv:2510.06953},
year = {2026}
}
备注
ACL 2026 Findings