更多偏置、更少偏置:BiasPrompting提升多选题答题性能
计算与语言
2025-11-26 v1
摘要
随着大型语言模型(LLM)的发展,其在多选题(MCQ)任务上的性能有了显著提升。然而,现有方法面临关键局限性:答案选项通常在没有上下文或解释的情况下呈现给LLM。这种缺乏上下文可能导致模型未能完整探索所有可能的答案,从而损害模型的推理能力。为解决这些挑战,我们引入BiasPrompting,这是一种新颖的推理框架,通过引导LLM在得出最终预测前生成并批判性地评估所有合理答案选项的推理。它包含两个组成部分:首先是推理生成阶段,在此阶段模型被提示为每个答案选项生成支持性推理;然后是推理引导的一致性阶段,通过综合生成的推理来选择最合理的答案。通过全面评估,BiasPrompting在五个广泛使用的多选题答题基准测试中均显示出显著的性能提升。我们的实验表明,BiasPrompting增强了LLM的推理能力,为应对复杂且具有挑战性的问题提供了强大的基础,尤其是在现有方法表现不佳的情境下。
引用
@article{arxiv.2511.20086,
title = {More Bias, Less Bias: BiasPrompting for Enhanced Multiple-Choice Question Answering},
author = {Duc Anh Vu and Thong Nguyen and Cong-Duy Nguyen and Viet Anh Nguyen and Anh Tuan Luu},
journal= {arXiv preprint arXiv:2511.20086},
year = {2025}
}
备注
Accepted at the 41st ACM/SIGAPP Symposium On Applied Computing (SAC 2026), Main Conference