从因果视角评估大型语言模型的无偏性

基准测试污染已成为大型语言模型评估社区的重大关切。以前的代理-评估者方法通过涉及代理生成问题来解决此问题。尽管取得了成功，但代理-评估者方法中的偏见仍基本未被探讨。本文提出了评估偏差的理论公式，为设计无偏评估协议提供了宝贵的见解。此外，我们通过在精心设计的最小代理-评估者设置上进行探针任务，识别了代理-评估者中的两种偏差类型。为解决这些问题，我们提出了无偏评估者，这是一个提供更全面、无偏且可解释评估大型语言模型的评估协议。大量实验表明，当前大型语言模型仍有显著的改进空间。此外，我们演示了无偏评估者不仅提供了关于基准测试污染的有力证据，还提供了可解释的评估结果。