FairJudge：一种自适应、无偏且一致的 LLM 评判系统
计算与语言
2026-02-09 v1
摘要
现有的 LLM-as-a-Judge 系统存在三个根本性局限：即对任务及领域特定评估标准的适应性有限、由非语义线索（如位置、长度、格式和模型来源）驱动的系统性偏差，以及导致跨不同评估模式（如点评与两两比较）之间产生矛盾判断的评估不一致性。为此，我们提出了 FairJudge——一个自适应、无偏且一致的 LLM-as-a-Judge。不同于以往将评判者视为静态评估器的做法，FairJudge 将评判行为本身建模为可学习且受正则化约束的策略。从数据中心视角，我们构建了高信息密度的评判数据集，显式注入与评估行为对齐的监督信号。基于该数据集，我们采用课程式 SFT-DPO-GRPO 训练范式，逐步对齐评估规范遵循、偏差消除与跨模式一致性，同时避免灾难性遗忘。在多个内部及公开基准实验中，FairJudge 均表现出在提升一致性和 F1 分数、降低非语义偏差方面持续显优，同时超越了显著更大的指令调优 LLM。所有资源将在接受录取后公开，以促进未来研究。
引用
@article{arxiv.2602.06625,
title = {FairJudge: An Adaptive, Debiased, and Consistent LLM-as-a-Judge},
author = {Bo Yang and Lanfei Feng and Yunkui Chen and Yu Zhang and Xiao Xu and Shijian Li},
journal= {arXiv preprint arXiv:2602.06625},
year = {2026}
}