软件工程中的系统文献综述——利用 Cohen's Kappa 统计量改进研究筛选过程

背景：系统文献综述（SLRs）依赖严格且可审计的方法学以最小化偏倚并确保可靠性。在使用一组纳入/排除标准筛选研究时会产生一类常见偏倚。该偏倚可通过双重评审来降低，但这使筛选过程更耗时，并且仍易产生偏倚，取决于每位研究者如何解释纳入/排除标准。目标：为减少研究筛选过程中的偏倚与耗时，本文提出一种基于 Cohen's Kappa 统计量的研究筛选过程。我们定义了一种基于该统计量的迭代过程，在此过程中标准被精炼直至获得几乎完全一致（k>0.8）。此时，两位研究者以相同方式解释筛选标准，从而偏倚得以减少。自此一致出发，可取消双重评审；因此所耗时间大幅缩短。方法：通过一项软件工程领域、涵盖 2005 至 2018 年发表工作的三级研究，论证该迭代研究筛选过程的可行性。结果：研究筛选过程节省时间为 28%（针对 152 项研究），若研究数量足够大，节省时间渐近趋于 50%。结论：研究者和学生在开展 SLRs 时可采用该迭代研究筛选过程，以减少纳入与排除标准解释中的偏倚。它对资源匮乏的研究尤为有用。