SCOPE：用于评估大语言模型的随机化和反偏置选项放置
计算与语言
2025-08-05 v2 人工智能
摘要
大语言模型（LLM）在多选题任务中可通过利用选项位置或标签内在偏差实现虚高得分，而非展示真实理解。本研究引入SCOPE评估框架，以数据独立的方式衡量和缓解此类选择偏差。通过重复调用无语义内容的空提示，SCOPE估计每个模型独有的偏差分布。随后根据反偏差分布重新分配答案槽位，从而均衡随机选择正确答案的幸运率。此外，SCOPE防止与答案相近的干扰项相邻放置，以阻止基于表面接近线索的错失猜测。在多个基准实验中，SCOPE始终优于现有去偏方法，在稳定性能提升和更清晰的正确选项置信度分布方面表现更佳。该框架因此为增强LLM评估的公平性和可靠性提供了新标准。
引用
@article{arxiv.2507.18182,
title = {SCOPE: Stochastic and Counterbiased Option Placement for Evaluating Large Language Models},
author = {Wonjun Jeong and Dongseok Kim and Taegkeun Whangbo},
journal= {arXiv preprint arXiv:2507.18182},
year = {2025}
}
备注
Comments: 34 pages, 1 figure. v2: All "Consequence." statements in the Theoretical Analysis section relabeled as "Corollary."; duplicated values in Table 20 (previously identical to Table 15) corrected