小型语言模型在儿童福利记录中进行DSM-5精神药物类别分类的验证
计算与语言
2026-03-10 v1 综合文献
摘要
背景：最近的研究表明，大型语言模型（LLM）可以对儿童福利叙述进行二元分类任务，检测特定 constructs 的存在或缺失，如精神药物相关问题、家庭暴力和火器涉及情况。是否可以超越二元检测，将更小的、在本地可部署的模型从这些叙述中识别特定的精神药物类型尚未测试。目标：验证一个在本地托管的LLM分类器，用于识别儿童福利调查叙述中符合DSM-5类别的具体精神药物类型。方法：使用在本地托管的200亿参数LLM对来自美国中西部州的一个州的儿童虐待调查叙述进行分类。将先前识别为包含精神药物相关问题的记录传递给第二个分类阶段，针对七个DSM-5精神药物类别进行分类。对900个分层案例进行专家人类审核，评估分类的精确度、召回率和方法间可靠性（ Cohen's kappa）。通过约15000个独立分类的记录测试重测稳定性。结果：五个精神药物类别几乎实现了完美的方法间一致性（kappa=0.94-1.00）：酒精、大麻、阿片类、兴奋剂和镇静/嗜睡/焦抗制剂。这些类别的分类精确度范围为92%至100%。两个低流行度类别（幻觉剂、吸入剂）表现较差。在七个类别中，测试重测一致性范围为92.1%至99.1%。结论：一个小型、在本地托管的LLM可以可靠地从儿童福利行政文本中分类精神药物类型，将先前的二元分类工作扩展到多标签精神药物识别。
引用
@article{arxiv.2603.06836,
title = {Validation of a Small Language Model for DSM-5 Substance Category Classification in Child Welfare Records},
author = {Brian E. Perron and Dragan Stoll and Bryan G. Victor and Zia Qia and Andreas Jud and Joseph P. Ryan},
journal= {arXiv preprint arXiv:2603.06836},
year = {2026}
}