语言模型中的部分推理：由不确定性引导的搜索与精炼
人工智能
2026-01-21 v1
摘要
大型语言模型（LLM）在推理和规划任务中的应用在人工智能研究中引起了越来越多的关注。尽管取得了显著进展，这些模型在多步推理场景中仍表现出局限性，尤其是在数学和逻辑推理方面。我们引入了PREGU（由不确定性引导的部分推理）。PREGU在自回归生成过程中监控输出分布的熵，并在熵超过定义的阈值时暂停生成过程，以此表示不确定性。从该点开始，在潜在空间中执行局部搜索，以精炼部分推理并选择最连贯的答案，使用Soft Reasoning方法。使用LLaMA-3-8B、Mistral-7B和Qwen2-7B在四个推理基准（GSM8K、GSM-Hard、SVAMP和StrategyQA）上进行的实验表明，其性能优于或类似于Soft Reasoning，表明熵可以作为推理过程中触发选择性精炼的有效信号。
引用
@article{arxiv.2601.12040,
title = {Partial Reasoning in Language Models: Search and Refinement Guided by Uncertainty},
author = {Murilo da Luz and Bruno Brandão and Luana Martins and Gustavo Oliveira and Bryan de Oliveira and Luckeciano Melo and Telma Soares},
journal= {arXiv preprint arXiv:2601.12040},
year = {2026}
}