基于潜在信息的无参考 LLM 响应评分

在没有参考的情况下，单响应 LLM-as-a-judge 评分有多可靠，我们能否在这种设置下获得细粒度、确定性的分数？我们研究了要求评判模型为自由文本响应分配 Likert 量表分数的常见做法，并展示了两个系统性问题：分数在采样下不稳定且校准不良，导致在量表顶端附近出现压缩以及频繁的平局。随后，我们提出并评估了 Latent Judges，它从内部模型信号中导出标量评分：（i）整数评分上的概率加权分数，（ii）验证器风格的“是”概率，以及（iii）在评分位置上基于模型激活训练的线性探针。在广泛的成对和单评分基准测试中，潜在方法匹配或超越了标准提示方法，在与 Best-of-N 选择相关的成对准确率和列表式排序上取得了一致的提升。概率加权分数实现了最强的单评分相关性，而当输出 logits 校准不良时，探针能够恢复有用的信号。这些结果表明，潜在信息为无参考评估提供了确定且更具区分度的信号，并能改进 Best-of-$N$、多教师蒸馏和路由等选择与训练方法。