从临床精神科笔记中提取社会支持与社会隔离信息：基于规则的自然语言处理系统与大语言模型的比较
计算与语言
2024-10-22 v1
摘要
背景：社会支持（SS）和社会隔离（SI）是与精神科结局相关的健康社会决定因素（SDOH）。在电子健康记录（EHR）中，个体层面的SS/SI通常以叙述性临床笔记而非结构化编码数据的形式记录。自然语言处理（NLP）算法可以自动化这一原本劳动密集的数据提取过程。数据与方法：对来自西奈山医疗系统（MSHS，n=300）和威尔康奈尔医学院（WCM，n=225）的精神科就诊笔记进行了标注，并建立了金标准语料库。开发了一个涉及词典的基于规则的系统（RBS）和一个使用FLAN-T5-XL的大语言模型（LLM），用于识别SS和SI及其子类别（例如，社会网络、工具性支持和孤独感）的提及。结果：在提取SS/SI方面，RBS在MSHS（0.89 vs. 0.65）和WCM（0.85 vs. 0.82）均获得了比LLM更高的宏观平均F值。在提取子类别方面，RBS在MSHS（0.90 vs. 0.62）和WCM（0.82 vs. 0.81）也优于LLM。讨论与结论：出乎意料的是，RBS在所有指标上均优于LLM。深入审查表明，这一发现源于RBS和LLM所采用的不同方法。RBS被设计和优化为遵循与金标准标注相同的特定规则。相反，LLM在分类上更具包容性，并遵循通用的英语语言理解。两种方法各有优势，并已开源以供未来测试。
引用
@article{arxiv.2403.17199,
title = {Extracting Social Support and Social Isolation Information from Clinical Psychiatry Notes: Comparing a Rule-based NLP System and a Large Language Model},
author = {Braja Gopal Patra and Lauren A. Lepow and Praneet Kasi Reddy Jagadeesh Kumar and Veer Vekaria and Mohit Manoj Sharma and Prakash Adekkanattu and Brian Fennessy and Gavin Hynes and Isotta Landi and Jorge A. Sanchez-Ruiz and Euijung Ryu and Joanna M. Biernacka and Girish N. Nadkarni and Ardesheer Talati and Myrna Weissman and Mark Olfson and J. John Mann and Alexander W. Charney and Jyotishman Pathak},
journal= {arXiv preprint arXiv:2403.17199},
year = {2024}
}
备注
2 figures, 3 tables