一种用于排序与评分的统一统计学习模型及其在基金评审专家小组中的应用
统计方法学
2022-09-02 v2 机器学习
摘要
排序与评分是评审者用来表达对一组对象偏好和/或质量感知的两种常见数据类型。现有大量模型分别研究每种类型的数据,但在不先进行数据转换的情况下,尚无统一统计模型能同时捕捉这两种数据类型。我们提出Mallows-Binomial模型来弥补这一空白,该模型通过共享参数将Mallows' 排序模型与二项评分模型相结合,这些参数量化了对象质量、一致排序以及评审者之间的一致程度。我们提出了一种高效的树搜索算法来计算模型参数的精确MLE,通过解析和模拟研究了模型的统计性质,并将我们的模型应用于来自一次基金评审专家小组实例的真实数据,该实例同时收集了评分和部分排序。此外,我们展示了如何利用模型输出对有置信度地排序对象。所提出的模型被证明能合理地结合来自评分和排序的信息,以量化对象质量并在适当的统计不确定性水平下度量一致性。
引用
@article{arxiv.2201.02539,
title = {A Unified Statistical Learning Model for Rankings and Scores with Application to Grant Panel Review},
author = {Michael Pearce and Elena A. Erosheva},
journal= {arXiv preprint arXiv:2201.02539},
year = {2022}
}
备注
36 pages, 8 figures