交叉复现可靠性——一种解读评分者间可靠性的经验方法
应用统计
2021-06-15 v1 人工智能
社会与信息网络
摘要
我们提出了一种解读评分者间可靠性（IRR）的新方法，该方法具有经验性且结合具体情境。其基础是在一次复现中将 IRR 与基线度量进行基准比较，其中之一是基于 Cohen's kappa 的新颖的交叉复现可靠性（xRR）度量。我们称此框架为 xRR 框架。我们开源了一个包含 400 万条人脸表情人类判断的复现数据集，并用所提框架对其进行分析。我们认为该框架可用于衡量众包数据集的质量。
引用
@article{arxiv.2106.07393,
title = {Cross-replication Reliability -- An Empirical Approach to Interpreting Inter-rater Reliability},
author = {Ka Wong and Praveen Paritosh and Lora Aroyo},
journal= {arXiv preprint arXiv:2106.07393},
year = {2021}
}