面向患者信息抽取的大语言模型研究：模型架构、微调策略与多任务指令微调
计算与语言
2025-09-08 v1 人工智能
摘要
自然语言处理（NLP）是从临床叙述文本中提取重要患者信息以支持医疗保健应用的关键技术。大语言模型（LLM）的快速发展彻底改变了临床领域的诸多 NLP 任务，但其在患者信息抽取任务中的最佳应用仍有待进一步探索。本研究检验了 LLM 在患者信息抽取中的有效性，重点关注用于开发鲁棒且具泛化能力的患者信息抽取系统的 LLM 架构、微调策略与多任务指令微调技术。本研究旨在探索将 LLM 用于临床概念与关系抽取任务的关键概念，包括：（1）仅编码器或仅解码器的 LLM，（2）基于提示的参数高效微调（PEFT）算法，以及（3）多任务指令微调在少样本学习性能上的表现。我们在五个数据集上对一系列 LLM 进行了基准测试，包括基于编码器的 LLM（BERT、GatorTron）和基于解码器的 LLM（GatorTronGPT、Llama 3.1、GatorTronLlama）。我们比较了传统的全量微调与基于提示的 PEFT。我们探索了一个结合四个数据集上两项任务的多任务指令微调框架，以使用留一数据集策略评估零样本和少样本学习性能。
引用
@article{arxiv.2509.04753,
title = {A Study of Large Language Models for Patient Information Extraction: Model Architecture, Fine-Tuning Strategy, and Multi-task Instruction Tuning},
author = {Cheng Peng and Xinyu Dong and Mengxian Lyu and Daniel Paredes and Yaoyun Zhang and Yonghui Wu},
journal= {arXiv preprint arXiv:2509.04753},
year = {2025}
}