用于患者评论多标签分类的大语言模型
计算与语言
2025-02-21 v3
摘要
患者体验和护理质量对医院的可持续性和声誉至关重要。对患者反馈的分析为患者满意度和治疗结果提供了宝贵的见解。然而，这些评论的非结构化特性给遵循监督学习范式的传统机器学习方法带来了挑战。这是由于缺乏标注数据以及这些文本所包含的细微差别。本研究探索了利用大语言模型 (LLMs) 对住院患者出院后分享的评论进行多标签文本分类 (MLTC)。利用 GPT-4 Turbo 进行分类。然而，鉴于患者评论的敏感性，在将数据输入 LLM 之前，通过一个受保护健康信息 (PHI) 检测框架引入了一个安全层，以确保患者去标识化。此外，还使用提示工程框架，对零样本学习、上下文学习和思维链提示进行了实验。结果表明，无论是遵循零样本还是少样本设置，GPT-4 Turbo 都优于传统方法和预训练语言模型 (PLMs)，并取得了最高的整体性能，F1 分数为 76.12%，加权 F1 分数为 73.61%，紧随其后的是少样本学习结果。随后，对结果与其他患者体验结构化变量（例如，评分）的关联进行了分析。该研究通过应用 LLMs 增强了 MLTC，为医疗从业者提供了一种高效的方法，以更深入地了解患者反馈并及时做出适当的回应。
引用
@article{arxiv.2410.23528,
title = {Large Language Models for Patient Comments Multi-Label Classification},
author = {Hajar Sakai and Sarah S. Lam and Mohammadsadegh Mikaeili and Joshua Bosire and Franziska Jovin},
journal= {arXiv preprint arXiv:2410.23528},
year = {2025}
}