一种测量定性分析中“开放编码”的计算方法
计算与语言
2026-04-21 v4 人工智能
人机交互
机器学习
摘要
定性分析对于理解许多社会科学学科中的人类数据集至关重要。这一过程的核心方法是归纳编码,研究人员直接从数据集本身识别和解释编码。然而,这种探索性方法对满足方法论期望(如“深度”和“多样性”)提出了挑战,尤其是随着研究人员越来越多地采用生成式 AI(GAI)提供支持。基于真值的指标是不充分的,因为它们与归纳编码的探索性本质相矛盾,而人工评估可能非常耗费人力。本文提出了一种理论驱动的计算方法,用于测量人类和 GAI 的归纳编码结果。我们的方法首先使用 LLM 增强算法合并各个编码本。它使用四个新指标衡量每个编码者相对于合并结果的贡献:覆盖率、重叠率、新颖性和发散度。通过在人工编码的在线对话数据集上的两次实验,我们 1)揭示了合并算法对指标的影响;2)验证了指标在多次运行和不同 LLM 间的稳定性和鲁棒性;3)展示了指标诊断编码问题的能力,例如过多或无关(幻觉)的编码。我们的工作为确保人机定性分析中的方法论严谨性提供了可靠途径。
引用
@article{arxiv.2411.12142,
title = {A Computational Method for Measuring "Open Codes" in Qualitative Analysis},
author = {John Chen and Alexandros Lotsos and Sihan Cheng and Caiyi Wang and Lexie Zhao and Yanjia Zhang and Jessica Hullman and Bruce Sherin and Uri Wilensky and Michael Horn},
journal= {arXiv preprint arXiv:2411.12142},
year = {2026}
}
备注
Accepted by ACL 2026 Findings