利用大语言模型提示进行临床时间关系抽取
摘要
目的：本文旨在通过提示工程利用大语言模型（LLMs）实现临床时间关系抽取（CTRE），涵盖少样本和全监督两种设置。材料与方法：本研究使用了四种 LLM：基于编码器的 GatorTron-Base (345M)/Large (8.9B)；基于解码器的 LLaMA3-8B/MeLLaMA-13B。我们开发了全参数微调（FFT）和参数高效微调（PEFT）策略，并在 2012 i2b2 CTRE 任务上进行了评估。针对 GatorTron-Base 探索了四种微调策略：(1) 标准微调，(2) LLM 不冻结的硬提示，(3) LLM 冻结的软提示，(4) LLM 冻结的低秩自适应（LoRA）。针对 GatorTron-Large 评估了两种 PEFT 策略——软提示和 LLM 冻结的 LoRA，结合量化技术。此外，LLaMA3-8B 和 MeLLaMA-13B 采用两种 PEFT 策略：结合量化的 LoRA 策略（QLoRA）应用于冻结 LLM 并使用指令微调，以及标准微调。结果：在全监督设置下，LLM 不冻结的硬提示在 GatorTron-Base 上取得了最高 F1 分数（89.54%），超越 SOTA 模型（85.70%）3.74%。此外，两种 QLoRA 变体分别应用于 GatorTron-Large 以及 GatorTron-Base 的标准微调，均超越 SOTA 模型 2.36%、1.88% 和 0.25%。基于解码器的模型在该设置下优于基于编码器的对应模型；然而在少样本场景下趋势反转。讨论与结论：本研究提出了显著提升 CTRE 性能的新方法，造福依赖 CTRE 系统进行的下游任务。结果强调了根据任务需求和数据可用性选择合适模型与微调策略的重要性。未来工作将探索更大模型和更广泛的 CTRE 应用。
引用
@article{arxiv.2412.04512,
title = {Prompting Large Language Models for Clinical Temporal Relation Extraction},
author = {Jianping He and Laila Rasmy and Haifang Li and Jianfu Li and Zenan Sun and Evan Yu and Degui Zhi and Cui Tao},
journal= {arXiv preprint arXiv:2412.04512},
year = {2024}
}