下一词预测器偏差研究：基于最短路径任务的系统性低效推理案例
计算与语言
2025-11-04 v2 人工智能
机器学习
摘要
近期自然语言处理领域的进展凸显了两大关键因素对提升大型语言模型(LLM)推理能力的重要性：(i) 在更难的问题上分配更多测试时序计算通常会引入推理路径中的冗余；(ii) 当推理系统化、递进地形成类似人类问题解决方式的结构化思维链(Chain of Thought, CoTs)时，计算效果最为有效。为独立研究这些因素，我们引入了基于分层图中最短路径任务的受控环境。我们对使用自定义分词器训练的解码器式变换器进行训练，比较在最优自下而上动态规划路径与涉及回溯的较长有效路径上的模型。在相同的训练标记预算下，训练不高效路径的模型对未见图的泛化能力更佳。这一优势并非仅由长度决定——将推理路径注入任意冗余并未助益，甚至可能适得其反。相反，我们发现泛化能力与模型对下一个标记预测的置信度相关，表明长而连贯、在局部递进的路径有助于优化训练信号。
引用
@article{arxiv.2507.05362,
title = {On the Bias of Next-Token Predictors Toward Systematically Inefficient Reasoning: A Shortest-Path Case Study},
author = {Riccardo Alberghi and Elizaveta Demyanenko and Luca Biggio and Luca Saglietti},
journal= {arXiv preprint arXiv:2507.05362},
year = {2025}
}