中文

最小阻力路径:通过前缀共识引导大语言模型推理轨迹

人工智能 2026-02-04 v2 计算与语言

摘要

大型语言模型实现了强大的推理性能,但推理策略如自洽性(Self-Consistency, SC)计算昂贵,因为它们完全展开所有推理轨迹。我们引入PoLR(Path of Least Resistance),首个利用前缀一致性进行计算高效推理的推理方法。PoLR聚类推理轨迹的短前缀,识别主导簇,扩大该簇中所有路径,保留SC的准确性优势,同时大幅减少token使用和延迟。我们的理论分析通过相互信息和熵的框架解释了为何早期推理步骤包含强信号可预测最终正确性。实验上,PoLR在GSM8K、MATH500、AIME24/25和GPQA-DIAMOND上始终匹配或超越SC,减少token使用最高可达60%,墙钟延迟最高可达50%。此外,PoLR完全可与自适应推理方法(如Adaptive Consistency、Early-Stopping SC)兼容,可作为drop-in pre-filter,使SC在不要求模型微调的情况下大幅提高效率和可扩展性。

关键词

引用

@article{arxiv.2601.21494,
  title  = {The Path of Least Resistance: Guiding LLM Reasoning Trajectories with Prefix Consensus},
  author = {Ishan Jindal and Sai Prashanth Akuthota and Jayant Taneja and Sachin Dev Sharma},
  journal= {arXiv preprint arXiv:2601.21494},
  year   = {2026}
}

备注

Accepted at ICLR 2026. https://openreview.net/forum?id=hrnSqERgPn