通过编码者间一致性提升软件工程定性研究的可靠性：基于 Krippendorff's $\alpha$ 与 Atlas.ti 的指南

近年来，使用定性数据分析（例如案例研究、访谈调查与扎根理论研究）的实证软件工程研究正在增加。然而，尽管存在被称为编码者间一致性（ICA）的多种统计技术用于分析团队编码中的共识，此类研究大多未深入探讨发现的可靠性与有效性，特别是这些方法论所依赖的编码可靠性。本文旨在建立一个新颖的理论框架，以实现进行此种效度分析的方法论途径。该框架基于一组用于度量不同编码者在评判共同事项时所达成一致性程度的系数。我们分析不同的可靠性系数并提供详细的计算示例，特别关注 Krippendorff's $\alpha$ 系数。我们系统综述了文献中报道的 Krippendorff's $\alpha$ 的若干变体，并提供了一个新颖的通用数学框架，通过通用 $\alpha$ 系数将所有变体统一起来。最后，本文在一个关于 DevOps 文化的大型案例研究中提供了该理论框架使用的详细指南。我们解释了如何使用像 Atlas.ti 这样广泛使用的定性分析软件工具来计算与解释 $\alpha$ 系数。我们期望这项工作将帮助实证研究者，尤其是软件工程领域的研究者，提升其研究的质量与可信度。