提示词至关重要：比较 ML/GAI 方法生成归纳式定性编码结果

John Chen; Alexandros Lotsos; Lexie Zhao; Grace Wang; Uri Wilensky; Bruce Sherin; Michael Horn

提示词至关重要：比较 ML/GAI 方法生成归纳式定性编码结果

计算与语言 2024-11-12 v1 人工智能人机交互

作者: John Chen , Alexandros Lotsos , Lexie Zhao , Grace Wang , Uri Wilensky , Bruce Sherin , Michael Horn

摘要

归纳式定性方法几十年来一直是教育研究的主力方法，但进行严谨的定性编码需要大量时间和精力。人工智能领域的最新进展，特别是生成式 AI（GAI），在生成归纳式编码结果方面取得了初步成功。与人类编码者类似，GAI 工具依赖指令来运作，而如何指导它可能很重要。为了理解 ML/GAI 方法如何为定性编码过程做出贡献，本研究将两种已知方法和两种基于理论的新颖方法应用于在线社区数据集，并评估了所产生的编码结果。我们的发现表明 ML/GAI 方法之间存在显著差异，并展示了我们方法的优势——这些方法将人类编码过程引入 GAI 提示词中。

关键词

归纳式定性编码生成式AI 提示设计定性方法 ML/GAI方法在线社区数据集

引用

@article{arxiv.2411.06316,
  title  = {Prompts Matter: Comparing ML/GAI Approaches for Generating Inductive Qualitative Coding Results},
  author = {John Chen and Alexandros Lotsos and Lexie Zhao and Grace Wang and Uri Wilensky and Bruce Sherin and Michael Horn},
  journal= {arXiv preprint arXiv:2411.06316},
  year   = {2024}
}

备注

Accepted by AERA 2025 Annual Meeting

提示词至关重要：比较 ML/GAI 方法生成归纳式定性编码结果

摘要

关键词

引用

备注

相关论文