选择程序质量评估：假阳性率下界作为评分者间信度的函数
统计方法学
2025-06-17 v3 统计理论
统计理论
摘要
评分者间信度（IRR）是评估多位评分者评分质量的常用工具之一。然而，基于多位评分者评分的申请人选择程序通常产生二元结果：申请人被选或不被选。IRR 未考虑该最终结果，而是聚焦于对个体主体或对象的评分。我们概述了评分测量模型（用于 IRR）与二元分类框架之间的联系。我们开发了一种近似正确选择最佳申请人概率的简单方法，从而能计算选择程序的错误概率（即假阳性率和假阴性率）或其下界。我们建立了评分者间信度与二元分类度量之间的联系，表明二元分类度量仅依赖于 IRR 系数和申请人被选比例。我们在仿真研究中评估了该近似的性能，并将其应用于比较多种基金同行评审选择程序可靠性的实例。我们还讨论了所探索联系在教育测试、心理评估和健康相关测量等其他情境中的可能用途，并在 IRR2FPR R 包中实现了相关计算。
引用
@article{arxiv.2207.09101,
title = {Assessing quality of selection procedures: Lower bound of false positive rate as a function of inter-rater reliability},
author = {František Bartoš and Patrícia Martinková},
journal= {arXiv preprint arXiv:2207.09101},
year = {2025}
}