拆分与合并：对齐基于 LLM 的评测器中的位置偏差
摘要
大语言模型（LLM）作为自动评测器以评估 AI 系统生成答案的质量已展现出前景。然而，这些基于 LLM 的评测器在成对比较中评测候选答案时表现出位置偏差或不一致性，无论内容如何都偏好第一个或第二个答案。为应对此局限，我们提出 PORTIA，一种基于对齐的系统，旨在以轻量而有效的方式模仿人类比较策略以校准位置偏差。具体而言，PORTIA 将答案拆分为多个片段，跨候选答案对齐相似内容，然后将其合并回单一提示供 LLM 评测。我们使用六种不同 LLM 对 11,520 个答案对进行了广泛实验。结果表明，PORTIA 显著提升了所有测试模型与比较形式的一致性率，平均相对提升 47.46%。值得注意的是，PORTIA 使较弱的 GPT 模型以仅 10% 的成本达到与最先进 GPT-4 模型 88% 的一致率。此外，它纠正了 GPT-4 模型中约 80% 的位置偏差实例，将其一致性率提升至 98%。后续人工评测表明，PORTIA 增强的 GPT-3.5 模型甚至在与人类评测者对齐方面超越独立 GPT-4。这些发现凸显了 PORTIA 纠正位置偏差、提升 LLM 一致性并提高效率的同时保持成本效益的能力。这代表了在各类应用中更可靠、可扩展地使用 LLM 进行自动评测的宝贵一步。
引用
@article{arxiv.2310.01432,
title = {Split and Merge: Aligning Position Biases in LLM-based Evaluators},
author = {Zongjie Li and Chaozheng Wang and Pingchuan Ma and Daoyuan Wu and Shuai Wang and Cuiyun Gao and Yang Liu},
journal= {arXiv preprint arXiv:2310.01432},
year = {2024}
}
备注
Accepted by EMNLP 2024. Please cite the conference version of this paper, e.g., "Zongjie Li, Chaozheng Wang, Pingchuan Ma, Daoyuan Wu, Shuai Wang, Cuiyun Gao, and Yang Liu. 2024. Split and Merge: Aligning Position Biases in LLM-based Evaluators. (EMNLP 2024)"