使用语言模型集成对自由文本数据进行标记
计算与语言
2025-09-29 v4
摘要
自由文本响应在心理学研究中被广泛收集，提供了定量措施可能不捕获的丰富定性洞察。通过多个训练过的人类标注者对自由文本数据中的既定主题进行标记通常是耗时且工作量大的。尽管大型语言模型（LLM）在语言处理方面表现出色，但仅依赖闭源 LLM 的标记技术无法直接应用于自由文本数据，除非获得明确的外部使用同意。在本研究中，我们提出了一种组装本地可部署 LLM 以增强自由文本数据中既定主题标记的框架。类似于由多个人类评审者进行标注，此框架利用各异开源 LLM 的异质性。集成方法寻求在 LLM 之间的一致性与不一致性之间取得平衡，指导一个利用主题描述与 LLM 推理之间嵌入距离的相关性评分方法。我们使用两个数据集进行了评估：一个是公开可获取的 Reddit 数据，来自与饮食失调相关的论坛，另一个是来自饮食失调患者的自由文本响应，两个数据集都伴随有人类标注。我们发现：（1）相同规模的 LLM 在标记任务中的表现存在差异，一些显示出较低的灵敏度但较高的精确度，而另一些则表现出较高的灵敏度但较低的精确度。（2）与单个 LLM 相比，LLM 的集成在预测人类标注方面实现了最高的准确率和最佳的灵敏度-精确度权衡。（3）LLM 之间的相关性评分显示出比二元标签更大的一致性，表明相关性评分方法有效地缓解了 LLM 标记的异质性。
引用
@article{arxiv.2501.08413,
title = {Labeling Free-text Data using Language Model Ensembles},
author = {Jiaxing Qiu and Dongliang Guo and Natalie Papini and Noelle Peace and Hannah F. Fitterman-Harris and Cheri A. Levinson and Tom Hartvigsen and Teague R. Henry},
journal= {arXiv preprint arXiv:2501.08413},
year = {2025}
}