选择比问题更有力：多选问答评估中的选择敏感性

近期研究提出了多选问答（MCQA）评估是否真实反映大型语言模型理解能力的担忧。本文探讨了“选择敏感性”这一概念，即模型决策受答案选项影响大于对问题本身理解的程度。我们引入一种新评分方法——称为归一化问题概率位移（NPSQ），旨在隔离问题本身的影响，提供更可靠的理解能力评估。通过涉及各种输入格式（包括掩码、符号和混合格式）的实验，我们发现传统评分方法——例如基于对数似然或其长度归一化变体的方法——容易受到答案选项表面特征的影响。相比之下，NPSQ 即使在修改答案选项后也保持稳定。