中文

基于开源生成式AI与机器学习的主题分析:一种用于归纳定性信码表开发的新方法

计算与语言 2024-10-08 v1 人工智能 人机交互

摘要

本文旨在回答一个核心问题:开源生成式文本模型在何种程度上可被用于工作流程中模拟社会科学研究中的主题分析?为此,我们提出了基于生成式AI的主题组织和结构化工作流程(GATOS),该工作流程运用开源机器学习技术、自然语言处理工具和生成式文本模型以促进主题分析。为建立该方法的有效性,我们呈现了三项案例研究,通过GATOS工作流程应用这些模型和技术,对比传统程序中使用的主题分析方法,归纳性地创建信码表。具体地,我们检验了由开源模型和工具构成的工作流程,能否归纳性地产生接近已知主题与子主题空间的信码表。为从这些文本中提取见解,我们结合开源生成式文本模型、检索增强生成和提示工程,以识别信码和主题于大规模文本,即生成定性信码表。该过程模拟了研究者在传统主题分析中使用的归纳编码过程,即逐个阅读文本单位、考虑信码表中已存在的编码,然后决定是否生成新编码,以取决于现有信码表是否提供足够的主题覆盖。我们采用三个合成数据集演示了该工作流程,这些数据集来自假设的组织研究情境:一个关于团队成员在团队合作情境中的反馈研究、一个关于组织伦理行为文化的研究,以及一个关于员工关于疫情后返回办公室观点的研究。我们展示了GATOS工作流程能够识别用于生成原始合成数据集的主题。

关键词

引用

@article{arxiv.2410.03721,
  title  = {Thematic Analysis with Open-Source Generative AI and Machine Learning: A New Method for Inductive Qualitative Codebook Development},
  author = {Andrew Katz and Gabriella Coloyan Fleming and Joyce Main},
  journal= {arXiv preprint arXiv:2410.03721},
  year   = {2024}
}