自洽性是否能提升百科知识的召回率？
计算与语言
2026-04-22 v1
摘要
虽然已知自洽性能够提升符号推理的性能，但由于缺乏针对性的评估基础，其对百科知识召回的影响尚不明确。为了解决这个问题，我们应用先前工作的数据驱动启发式方法，为流行的 MMLU 基准建立了一个知识召回划分。我们通过证明符号推理和知识召回子集上的性能模式分别与 GSM8K 和 MedMCQA 相似，验证了这一划分。在这个坚实的基础上，我们发现自洽性持续提升了符号推理和知识召回两方面的性能，即使其底层的 CoT 提示主要对符号推理有效。因此，我们在 MMLU 上实现了 89% 的准确率，这是使用 GPT-4o 迄今为止的最佳性能。
引用
@article{arxiv.2604.19395,
title = {Does Self-Consistency Improve the Recall of Encyclopedic Knowledge?},
author = {Sho Hoshino and Ukyo Honda and Peinan Zhang},
journal= {arXiv preprint arXiv:2604.19395},
year = {2026}
}
备注
ACL 2026