使用大语言模型进行自动主题分析：以鸦片伤口管理社交媒体讨论为例
人工智能
2025-10-16 v1 计算与语言
新兴技术
信息检索
摘要
背景 大语言模型 (LLM) 在归纳性主题分析中面临挑战，这一任务需要深层的解释性和领域特定 expertise。我们评估了使用 LLM 复制专家驱动的社交媒体数据主题分析的可行性。方法 我们使用两个时间上不相交的 Reddit 数据集（分别为 n=286 和 n=686，用于模型优化和验证），结合十二个专家提炼的主题，评估五种 LLM 与专家编码。我们将任务建模为一系列二元分类，而非单一的多标签分类，采用零-shot、单张和 few-shot 提示策略，并通过准确率、精确率、召回率和 F1 分数衡量性能。结果 在验证集上，GPT-4o 采用两张零样本提示表现最佳（准确率：90.9%；F1 分数：0.71）。对于高流行主题，模型派生的主题分布与专家分类高度吻合（例如鸦片使用：13.6% vs. 17.8%；鸦片依赖治疗使用：16.5% vs. 17.8%）。结论 我们的发现表明，few-shot LLM 方法可以自动化主题分析，为定性研究提供可扩展的补充手段。
引用
@article{arxiv.2507.10803,
title = {Automated Thematic Analyses Using LLMs: Xylazine Wound Management Social Media Chatter Use Case},
author = {JaMor Hairston and Ritvik Ranjan and Sahithi Lakamana and Anthony Spadaro and Selen Bozkurt and Jeanmarie Perrone and Abeed Sarker},
journal= {arXiv preprint arXiv:2507.10803},
year = {2025}
}
备注
Pages: 19, Abstract word count: 151 words, Manuscript word count: 2185 words, References: 14, Figures: 3, Tables: 2