使用指令微调大语言模型识别警察事件叙述中的脆弱性指标
计算与语言
2024-12-17 v1
摘要
目标：比较指令微调大语言模型（IT-LLMs）与人类编码员在分类描述警民互动的常规收集的非结构化文本中是否存在脆弱性方面的表现。评估IT-LLM编码中的潜在偏差。方法：分析波士顿警察局记录的警民互动的公开文本叙述，我们向人类和IT-LLM提供定性标注编码手册，并比较两者生成的标签，旨在识别与（i）精神健康问题；（ii）药物滥用；（iii）酒精依赖；（iv）无家可归相关的情况。我们探索了多种提示策略和模型大小，以及重复提示生成的标签的可变性。此外，为了探索模型偏差，我们利用反事实方法评估两个受保护特征——种族和性别——对IT-LLM分类的影响。结果：结果表明，IT-LLM可以有效支持警察事件叙述的人类定性编码。虽然LLM和人类生成的标签存在一些不一致，但IT-LLM在筛选不存在脆弱性的叙述方面非常有效，可能大大减少对人类编码的需求。反事实分析表明，对叙述中描述的个体性别和种族的操纵对IT-LLM分类的影响非常有限，超出随机预期。结论：IT-LLM提供了一种有效的手段来增强人类定性编码，这种方式需要更少的资源来分析大型非结构化数据集。此外，它们鼓励定性编码的特异性，促进透明度，并为分析大型自由文本警察数据源提供更标准化、可重复的方法。
引用
@article{arxiv.2412.11878,
title = {Using Instruction-Tuned Large Language Models to Identify Indicators of Vulnerability in Police Incident Narratives},
author = {Sam Relins and Daniel Birks and Charlie Lloyd},
journal= {arXiv preprint arXiv:2412.11878},
year = {2024}
}
备注
33 pages, 6 figures Submitted to Journal of Quantitative Criminology