重审LLM推理痕迹中的UID假设
计算与语言
2025-10-21 v1 人工智能
摘要
大语言模型（LLM）常通过逐步链式思考（Chain-of-Thought, CoT）推理解题，但这些中间步骤常常不忠实或难以解释。灵感来自心理语言学中的统一信息密度（UID）假设——该假设认为人类通过维持稳定的信息流来进行交际——我们引入基于熵的指标来分析推理痕迹中的信息流动。令人惊讶的是，在三个具有挑战性的数学基准测试中，我们发现LLM的正确推理在全局上是非均匀的：正确解答表现为信息密度的不均衡波动，这与人类交际模式截然不同。这一结果挑战了关于机器推理的假设，并指向了设计可解释且自适应推理模型的新方向。
引用
@article{arxiv.2510.13850,
title = {Revisiting the UID Hypothesis in LLM Reasoning Traces},
author = {Minju Gwak and Guijin Son and Jaehyung Kim},
journal= {arXiv preprint arXiv:2510.13850},
year = {2025}
}