推理语言模型的实时进度预测
机器学习
2026-05-27 v4 人工智能
摘要
近期的推理语言模型，尤其是采用长潜在思考链的模型，在复杂agentic任务上取得了强大的性能。然而，随着这些模型在日益延长的时间范围内运行，其内部进展对用户而言仍不透明，这使得期望管理和实时监控变得困难。本文我们探讨了是否存在为此类模型实现实时进度预测的可能性。我们首先测试了隐藏状态是否编码进度信息，通过离散化推理轨迹并训练线性探针来对推理状态进行分类。随后，我们对模型进行微调，使其在思考链推理期间生成0至100%的进度估计。我们最强的报告进度的检查点在数学推理轨迹上实现了0.161的平均绝对误差（MAE），并在该设置下超过位置基线。最后，我们量化了进度标签的内在歧义，通过测量同一部分rollout中隐含的进度值如何变化来衡量这种歧义。这种歧义在Qwen3-4B模型中最低，其延续产生的rollout离散度最小，表明更大的模型可以通过减少剩余解长度的变化来使进度标签更加稳定。
引用
@article{arxiv.2506.23274,
title = {Real-Time Progress Prediction in Reasoning Language Models},
author = {Hans Peter Lyngsøe Raaschou-Jensen and Constanza Fierro and Anders Søgaard},
journal= {arXiv preprint arXiv:2506.23274},
year = {2026}
}