决策相关的双评分者二分类响应情况下的评分者间一致性统计量

评分者间一致性 (IRA) 的测量在各个学科中至关重要。为了校正 IRA 中潜在的偶然一致性混淆因素，已提出了 Cohen's kappa 和许多其他方法。然而，由于这些方法采用的策略和假设各不相同，即使是常见的双评分者二分类评级，也缺乏关于如何优选这些方法的实用指南。为了填补文献中的空白，我们系统回顾了九种 IRA 方法，并提出一个广义框架，该框架可以模拟双评分者背后的相关决策过程，从而在全面的实际场景下比较这些回顾的方法。基于新框架，通过考虑“概率确定性”定义了“真实”偶然校正 IRA 的估计量，并作为比较基准。我们进行了广泛的模拟以评估所回顾的 IRA 度量性能，并进行了凝聚层次聚类分析以评估所包含方法与基准度量之间的相互关系。提供了在不同实际条件下选择适当 IRA 统计量的建议，并强调了 IRA 估计方法进一步发展的需求。