利用大语言模型支持实证法律研究中的主题分析
人工智能
2023-10-31 v1 计算与语言
人机交互
摘要
主题分析及其他归纳式编码变体是实证法律研究 (ELS) 中广泛使用的定性分析方法。我们提出一种新颖框架，促进法律专家与大语言模型 (LLM) 有效协作，以生成初始编码（主题分析第 2 阶段）、搜寻主题（第 3 阶段），并依据主题对数据进行分类（启动第 4 阶段）。我们将该框架用于分析一个来自盗窃刑事判决意见的案情描述数据集 (n=785)。分析目标是发现典型盗窃的类别。我们的结果表明，该 LLM（即 OpenAI 的 GPT-4）生成了合理的初始编码，并能够基于专家反馈提升编码质量。结果还表明，该模型在依据主题对案情描述进行零样本分类方面表现良好。最后，LLM 自主发现的主题与法律专家所得主题映射得相当吻合。这些发现可被法律研究者利用，以指导其将 LLM 整合进主题分析及其他归纳式编码项目的决策。
引用
@article{arxiv.2310.18729,
title = {Using Large Language Models to Support Thematic Analysis in Empirical Legal Studies},
author = {Jakub Drápal and Hannes Westermann and Jaromir Savelka},
journal= {arXiv preprint arXiv:2310.18729},
year = {2023}
}
备注
10 pages, 5 figures, 3 tables