度量多名评分者将对象分类至一个或多个(层级)类别的一致性:Fleiss' kappa 的推广

Cohen's kappa 与 Fleiss' kappa 是著名的评分者间一致性度量,但它们限制每名评分者对每个对象仅能选择一个类别。在对象可能属于多个类别的情形下,如涉及多种障碍的精神病学诊断或将访谈片段分类至代码簿的多个代码,这一限制影响重大。我们提出 Fleiss' kappa 的推广版本,可容纳多名评分者将对象指派至一个或多个名义类别。我们提出的 $\kappa$ 统计量可纳入基于重要性的类别权重,并考虑层级类别结构,例如带子障碍的主要障碍。新 $\kappa$ 统计量还可处理缺失数据以及每名对象或每类别评分者数量的变动。我们回顾已有的允许多类别指派的方法,并详述我们度量的推导,证明其当评分者每对象选单一类别时等价于 Fleiss' kappa。本文讨论新度量的假设、前提与潜在悖论,以及可能取值范围与解释准则。该度量旨在研究一种新数学评估方法的可靠性,文中详述了一例。文章以精神科医生诊断患多种障碍患者的完整示例作结。所有计算均以 R 脚本与 Excel 表格提供,以方便使用新 $\kappa$ 统计量。