关于将归纳主题饱和作为衡量基于 LLM 的归纳主题分析有效性的潜在指标的反思
计算与语言
2024-01-09 v1 计算机与社会
摘要
本文提出了一系列关于饱和状态以及使用大型语言模型（LLM）进行主题分析（TA）的反思。文章建议可将初始主题饱和（ITS）作为一种指标，用于评估基于 LLM 的主题分析的部分交易效度，重点关注初始编码阶段。本文展示了对两个不同规模数据集的初始编码，并反思了 LLM 在编码过程中如何达到某种形式的分析饱和。本工作提出的程序导致创建了两个编码本，一个包含累计初始代码总数，另一个包含唯一代码总数。文章提出了一种指标，通过利用累计代码斜率与唯一代码斜率之间的比率进行简单的数学计算，来综合测量 ITS。本文有助于构建探索如何使用 LLM 进行定性分析的初步工作体系。
引用
@article{arxiv.2401.03239,
title = {Reflections on Inductive Thematic Saturation as a potential metric for measuring the validity of an inductive Thematic Analysis with LLMs},
author = {Stefano De Paoli and Walter Stan Mathis},
journal= {arXiv preprint arXiv:2401.03239},
year = {2024}
}