语言模型响应偏差校正：RBCorr方法

语言模型（LMs）已知容易受到响应偏差的影响，这表现为固定响应问题中的选项偏好。在不增加成本的同时提高LMs性能并实现更准确的模型能力评估方面，开发低成本有效的响应偏差校正方法至关重要。本文提出一种简单有效的响应偏差校正策略（$\texttt{RBCorr}$），并在12个开源语言模型上进行测试，使用yes-no、蕴涵和多项选择问题。我们展示了在校正前，响应偏差在LMs中十分普遍，而$\texttt{RBCorr}$有效消除了偏差并提升了模型性能。我们还探讨了偏差行为在模型、数据集和提示格式之间的可移植性，表明LogProbs-based校正高度依赖这三个方面。总体而言，$\texttt{RBCorr}$是一种易于使用的方法，可提升较小规模LMs的性能，确保LM在封闭响应基准测试中的性能更贴近其真实能力。