通过基于群体的投票消除大型语言模型中的判断偏好
计算与语言
2026-04-22 v2
摘要
大型语言模型(LLM)作为自动评估器，常被称为LLM-as-a-Judge，正受到日益关注。这一方法在与人类判断对齐方面发挥着重要作用，提供准确可靠的评估。然而，基于LLM的判断模型在评估阶段常表现出判断偏好偏差，倾向于偏好自己生成的响应，这削弱了其判断的可靠性。本文引入基于群体的投票优化框架(Genii)，一种无监督的多智能体协作优化框架，用于消除判断模型固有的判断偏好偏差。具体而言，Genii将各种基于LLM的判断模型整合到多智能体系统中，模拟交互式客户端-服务器投票机制，对每个客户端智能体进行无监督优化。我们的实验表明，Genii在无需人工标注注释的情况下，优于基于注释判断数据的监督模型。Genii在投票过程中对不同客户端智能体始终能够实现性能提升，即使较弱的模型充当服务器智能体。进一步的分析表明，Genii有效消除了基于LLM的判断模型的判断偏好偏差，证明了其有效性。所有代码均 available at https://github.com/NEUIR/Genii.
引用
@article{arxiv.2510.08145,
title = {Mitigating Judgment Preference Bias in Large Language Models through Group-Based Polling},
author = {Shuliang Liu and Zhipeng Xu and Zhenghao Liu and Yukun Yan and Minghe Yu and Yu Gu and Chong Chen and Huiyuan Xie and Ge Yu},
journal= {arXiv preprint arXiv:2510.08145},
year = {2026}
}