自动化主题分析：LLM如何分析争议性话题

大型语言模型（LLM）作为有前景的分析工具。它们可以增强人类的知识、认知和推理能力，支持'sensemaking'，即通过分析大量数据来理解复杂环境或主题，同时考虑到上下文和细微差别，这些差别在早先的文本处理系统中所缺乏。本文提出一个试点实验，探索LLM如何支持争议性话题的主题分析。我们比较了人类研究人员和两个LLM（GPT-4和Llama 2）对媒体报道中关于澜洛贾（Robodebt）丑闻报道摘录进行分类的情形。我们的发现突显了人类与机器代理在主题分类方面的有趣重叠之处和差异之处，并在LLM能够有效支持形式化语境和主题分析方面提供了建议。我们认为LLM应被用于增强，而非取代人类的解释，并为现有研究在自动化应用到定性研究方法方面提供了进一步的方法论见解和反思。我们还引入了一种新颖的卡片式设计工具包，供研究人员和实践者进一步检验LLM作为分析工具。