利用节点剪枝与辅助选项缓解选择偏差

大型语言模型在回答多项选择题时，往往对某些答案选项表现出系统性的偏好——这种行为被称为选择偏差。这种偏差降低了大型语言模型输出的准确性和可靠性，限制了其在决策关键型应用中的实用性。虽然先前的工作侧重于调整模型输入或输出来缓解这一问题，但我们的工作采取了一种根本不同的方法，即识别并消除偏差的内部来源。我们引入了两种方法：偏差节点剪枝，即剪枝对选择偏差有贡献的参数；以及辅助选项注入，即引入一个额外的答案选项以减少白盒和黑盒设置中的偏差。为了解决现有评估指标的不足，我们提出了选择 Kullback-Leibler 散度，这是一种捕捉模型预测中分布不平衡的新指标。在多个数据集上对三个大型语言模型进行的实验表明，我们的方法在减少选择偏差的同时持续提高了答案准确性，为开源和闭源模型都提供了稳健的解决方案。