通过前缀一致性实现可靠的链式思维
机器学习
2026-05-11 v1 计算与语言
机器学习
摘要
大型语言模型通常通过对多个链式思维(CoT)轨迹进行抽样并采用多数投票(MV)聚合来提高推理任务的准确率，这是一种称为自我一致性的测试时技术。当我们在CoT的中途截断并重新生成其余部分时，会发现正确答案的轨迹在再生后更常重复其原始答案，而错误答案的轨迹则不常如此。我们利用这一差异作为可靠性信号，即前缀一致性，对每个候选答案进行加权，依据其在再生后重复出现的频率。该方法无需访问token概率或自评提示。在五个推理模型和四个数学和科学基准测试中，前缀一致性在大多数设置下都是最佳的正确性预测器，并且通过对投票进行加权，可在最高多达21倍的token数下达到标准MV平台准确率（中位4.6倍）。我们的代码已公开于https://github.com/naoto-iwase/prefix-consistency。
引用
@article{arxiv.2605.07654,
title = {Reliable Chain-of-Thought via Prefix Consistency},
author = {Naoto Iwase and Yuki Ichihara and Mohammad Atif Quamar and Junpei Komiyama},
journal= {arXiv preprint arXiv:2605.07654},
year = {2026}
}
备注
See our project page at https://naoto-iwase.github.io/prefix-consistency-page