CCQA：从解答生成问题可提升 SLMs 的推理时推理能力
计算与语言
2025-09-24 v1 人工智能
摘要
近期，推理时推理策略进一步提升了大型语言模型（LLMs）的准确率，但其在小型语言模型（SLMs）上的有效性仍不明确。基于传统方法在此情境下往往无法提升性能的观察，我们提出了问答中的循环一致性（CCQA），一种可有效应用于 SLMs 的新型推理方法。受循环一致性启发，CCQA 从每条推理路径和答案生成一个问题，通过评估其与原始问题的相似度来对每条路径进行评价，然后选择相似度得分最高的候选解答作为最终响应。由于传统 SLMs 难以从自身的推理路径和答案中生成准确的问题，我们采用了一个专用于问题生成的轻量级 Flan-T5 模型来高效支持此过程。实验结果验证了 CCQA 在八个模型上，于数学和常识推理基准中均持续优于现有的最先进（SOTA）方法。此外，我们的方法为 SLMs 中的高效推理建立了一个新的实用基线。源代码可在 https://github.com/scai-research/ccqa_official 找到。
引用
@article{arxiv.2509.18536,
title = {CCQA: Generating Question from Solution Can Improve Inference-Time Reasoning in SLMs},
author = {Jin Young Kim and Ji Won Yoon},
journal= {arXiv preprint arXiv:2509.18536},
year = {2025}
}
备注
Published as a main conference paper at EMNLP 2025