长度控制的AlpacaEval：一种简单的自动评估器去偏方法

基于LLM的自动标注器已成为LLM开发过程中的关键组成部分，因为与基于人类的评估相比，它们具有成本效益和可扩展性。然而，这些自动标注器可能会引入难以消除的偏差。即使是简单的已知混杂因素，如对较长输出的偏好，仍然存在于现有的自动评估指标中。我们提出了一种简单的回归分析方法来控制自动评估中的偏差。作为一个实际案例研究，我们专注于减少AlpacaEval的长度偏差，AlpacaEval是一个快速且经济的指令微调LLM基准，它使用LLM来估计响应质量。尽管与人类偏好高度相关，但已知AlpacaEval偏向于生成较长输出的模型。我们引入了一个长度控制的AlpacaEval，旨在回答反事实问题：“如果模型和基线的输出具有相同的长度，偏好会是什么？”为了实现这一点，我们首先拟合一个广义线性模型，基于我们想要控制的媒介（长度差异）和其他相关特征来预测有偏的自动标注器的偏好。然后，我们通过将GLM的条件设置为长度差为零来预测偏好，从而获得长度控制的偏好。长度控制不仅提高了指标对模型冗长性操纵的鲁棒性，而且我们还发现它使与LMSYS Chatbot Arena的Spearman相关性从0.94增加到0.98。