为何众所智能策略无法提升LLM真实性： consensus is not verification
机器学习
2026-03-10 v1 人工智能
摘要
Pass@k等扩大推理计算的方法可在数学和代码等具有外部验证器的领域提升语言模型性能，这类方法可可靠地筛选错误的候选答案。这自然引出一个问题：是否可以类似地扩大计算资源，以在缺乏便捷验证器的领域提升模型的真实性？我们通过对五个基准测试和多个模型的实验表明，答案是否定的。即便在25倍于随机抽样推理成本的情况下，基于投票的聚合方法也未能显著提升准确率，反而常常放大共同的误解。我们发现，在不确定性下，模型更擅长预测模型集合中其他模型会说什么，而非识别事实真相，这揭示了社交预测与真实验证之间的差异。在所有模型和基准测试中，聚合方法未能提供稳健的真实信号，因为语言模型的错误高度相关。这种相关性的来源超出单个基准测试的范围：我们表明，即便在条件化于分布外随机字符串并要求生成伪随机输出的情况下，不同模型也会产生高度相关的输出。基于置信度的加权方法毫无意义，因为自报告置信度无法可靠地区分正确答案与错误答案。这些结果界定了推理时间扩展的边界：在验证领域，额外的采样样本为验证器提供更多候选答案进行筛选；在未验证的领域，额外的采样样本仅会强化共同的误解。
引用
@article{arxiv.2603.06612,
title = {Consensus is Not Verification: Why Crowd Wisdom Strategies Fail for LLM Truthfulness},
author = {Yegor Denisov-Blanch and Joshua Kazdan and Jessica Chudnovsky and Rylan Schaeffer and Sheng Guan and Soji Adeshina and Sanmi Koyejo},
journal= {arXiv preprint arXiv:2603.06612},
year = {2026}
}