以异方差分量模型评估评分者间信度：考虑情境变量的灵活方法
统计方法学
2023-02-17 v2 应用统计
统计计算
摘要
评分者间信度（IRR）是高质量评分与评估的先决条件，其可能受评分者或被测者的性别、专业或经验等情境变量影响。识别 IRR 中此类异质性来源，对于实施有望减少测量误差并通过聚焦最相关子群来提升 IRR 的政策十分重要。本研究中，我们提出一种灵活方法，通过在方差分量上直接建模协变量引起的差异，评估存在协变量异质性时的 IRR。我们使用贝叶斯因子选取最优模型，并建议以贝叶斯模型平均作为获取 IRR 与方差分量估计的替代方法，从而考虑模型不确定性。我们利用涵盖整个模型空间的包含贝叶斯因子，提供协变量导致方差分量差异的支持或反对证据。所提方法在模拟研究中与其他贝叶斯与频率学方法比较，我们在某些情形下展示了其优越性。最后，我们给出基金申请同行评审的真实数据示例，论证了该方法的实用性及其在推广至更复杂设计时的灵活性。
引用
@article{arxiv.2207.02071,
title = {Assessing inter-rater reliability with heterogeneous variance components models: Flexible approach accounting for contextual variables},
author = {Patrícia Martinková and František Bartoš and Marek Brabec},
journal= {arXiv preprint arXiv:2207.02071},
year = {2023}
}