使用大型语言模型对临床句子中的移动功能信息进行低资源分类
计算与语言
2023-12-19 v1
摘要
目的：功能越来越被认为是整体健康的重要指标。本研究评估了公开可用的大型语言模型（LLM）从临床笔记中准确识别功能信息存在的能力。我们探索了各种策略来提高此任务的性能。材料与方法：我们从Mobility NER数据集中收集了一个平衡的二分类数据集，包含1000个句子，该数据集来自n2c2临床笔记。为了评估，我们构建了零样本和少样本提示来查询LLM给定句子是否包含移动功能信息。使用两种采样技术：随机采样和k近邻（kNN）采样来选择少样本示例。此外，我们对LLM应用了参数高效的基于提示的微调方法，并评估了它们在各种训练设置下的性能。结果：Flan-T5-xxl在零样本和少样本设置中均优于所有其他模型，在使用kNN采样选择的单个示例时达到了0.865的F1分数。在基于提示的微调实验中，该基础模型在所有低资源设置中也表现出优越性能，特别是在使用完整训练数据集时达到了令人印象深刻的0.922的F1分数。较小的模型Flan-T5-xl仅需微调2.3M额外参数即可达到与完全微调的Gatortron-base模型相当的性能，两者均超过0.9 F1分数。结论：开源指令微调的LLM在移动功能分类任务中展示了令人印象深刻的上下文学习能力。通过在特定任务数据集上继续微调，可以进一步提高这些模型的性能。
引用
@article{arxiv.2312.10202,
title = {Low-resource classification of mobility functioning information in clinical sentences using large language models},
author = {Tuan Dung Le and Thanh Duong and Thanh Thieu},
journal= {arXiv preprint arXiv:2312.10202},
year = {2023}
}