LLM-in-the-loop：利用大语言模型进行主题分析
计算与语言
2023-10-24 v1
摘要
主题分析（TA）已被广泛用于许多学科和领域的定性数据分析。为确保分析可靠，同一份数据通常分配给至少两名人类编码员。此外，为产生有意义且有用的分析，人类编码员在多次迭代中发展并深化其对数据的解读与编码，使得 TA 劳动密集且耗时。近来大语言模型（LLM）研究的兴起领域表明，LLM 有潜力在各种任务中复现类人行为：特别是，LLM 在文本标注任务上优于众包工作者，这提示了在 TA 中利用 LLM 的机会。我们提出了一种人机协作框架（即 LLM-in-the-loop），通过上下文学习（ICL）开展 TA。该框架提供提示以与 LLM（如 GPT-3.5）展开讨论，生成 TA 的最终编码手册。我们使用关于音乐聆听体验方面及密码管理器使用情况的调查数据集展示了该框架的效用。两项案例研究的结果表明，所提框架产生的编码质量与人类编码员相似，但减少了 TA 的劳动力与时间需求。
引用
@article{arxiv.2310.15100,
title = {LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis},
author = {Shih-Chieh Dai and Aiping Xiong and Lun-Wei Ku},
journal= {arXiv preprint arXiv:2310.15100},
year = {2023}
}
备注
EMNLP 2023 Findings