具有灵敏度、 disagreement 和置信度的异构评委排序
统计方法学
2026-05-08 v2
摘要
来自多个评委的两两比较是大型语言模型评估和偏好建模的核心，但标准排序管道常将评判意见合并为单个评分向量，将系统性评委 disagreement 视为噪声。我们提出异构评委排序（HJA ranking），一种结构化的多评委排序框架，将 consensus 排序、评委对 consensus 的灵敏度以及残余偏好 disagreement 分离为独立的推断目标。HJA 因此将排序、评委灵敏度和结构化 disagreement 视为独立的推断目标。我们在保证该分解可识别性的条件下，发展了一个保持识别几何的锚定交替算法。对于置信度量化，我们研究了固定小组重复比较情形，其中评委小组可能保持不变或适度增大，而信息通过重复评判而增长。这导致对 consensus 和评委特定排序对比、灵敏度参数、两两概率以及残余 disagreement 的不确定性陈述。在合成和真实多评委比较数据上的实验表明，HJA 在恢复、鲁棒性、不确定性校准和接近平局性能方面均优于合并和仅考虑灵敏度的基线方法。拟合模型还提供了评委 disagreement 和模型亲和性模式的诊断，为在异构比较评判下进行排序提供了统计上有根基的框架。
关键词
引用
@article{arxiv.2605.05073,
title = {Heterogeneous Judge-Aware Ranking with Sensitivity, Disagreement, and Confidence},
author = {Shibo Yu and Yingzhou Wang and Yan Chen and Guodong Li and Jin-Hong Du},
journal= {arXiv preprint arXiv:2605.05073},
year = {2026}
}