当定性研究遇见大语言模型：探索 QualiGPT 作为定性编码工具的潜力
人机交互
2024-07-23 v1
摘要
定性研究以深入探索复杂现象而闻名，编码阶段往往涉及耗时的分析，尤其是现有定性评估软件常缺乏自动编码功能、用户友好性和性价比。大型语言模型 (LLM) 如 GPT-3 及其后续模型的出现标志着定性分析的变革时代。本文介绍了 QualiGPT，这是一个针对使用 ChatGPT 进行定性分析挑战而开发的工具。通过对比传统手动编码与 QualiGPT 在模拟数据集和真实数据集上的表现，纳入归纳和演绎编码方法，我们展示了 QualiGPT 显著提高了定性分析过程。我们的发现表明，QualiGPT 在定性编码中提高了效率、透明度和可及性。该工具的性能通过介于人类编码者之间的可靠性 (IRR) 进行评估，结果表明在各种编码情景中，人类编码者与 QualiGPT 之间存在显著一致性。此外，我们还讨论了将 AI 集成到定性研究工作流程中的意义，并概述了提高该领域人机协作的未来方向。
关键词
引用
@article{arxiv.2407.14925,
title = {When Qualitative Research Meets Large Language Model: Exploring the Potential of QualiGPT as a Tool for Qualitative Coding},
author = {He Zhang and Chuhao Wu and Jingyi Xie and Fiona Rubino and Sydney Graver and ChanMin Kim and John M. Carroll and Jie Cai},
journal= {arXiv preprint arXiv:2407.14925},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2310.07061