语言模型是否了解另一条未选之路？Token 级别的不确定性与隐藏状态动力学
计算与语言
2025-11-07 v1 人工智能
摘要
当语言模型生成文本时，单个 token 的选择可能会导致其走向非常不同的推理路径，使得不确定性难以量化。在本工作中，我们考虑语言模型在生成过程中是否代表其可能采取的备选路径。为测试此假设，我们利用隐藏激活来控制和预测语言模型在链式思考过程中所表现出的不确定性。在我们的实验中，我们发现模型在不同 token 处的不确定性水平与模型在控制其激活时能被轻易引导的程度之间存在明显的相关性。这表明，当模型尚未就特定最终答案达成决定性陈述时，激活干预最为有效——也就是说，当模型尚未提交给特定答案时，激活干预最为有效。我们还发现，隐藏激活可以预测模型的未来结果分布，表明模型在隐式地表示可能的路径空间。
引用
@article{arxiv.2511.04527,
title = {Are language models aware of the road not taken? Token-level uncertainty and hidden state dynamics},
author = {Amir Zur and Atticus Geiger and Ekdeep Singh Lubana and Eric Bigelow},
journal= {arXiv preprint arXiv:2511.04527},
year = {2025}
}