在计算与数据约束条件下，LoRA 适配器对临床文本分类中大语言模型的影响
计算与语言
2025-07-29 v3 信号处理
摘要
为临床自然语言处理(NLP)微调大型语言模型(LLM)面临诱发域差距、数据有限和严格硬件约束等挑战。本研究评估了四种等效于低秩适应(LoRA)的适配器技术——Adapter、Lightweight、TinyAttention 和 Gated Residual Network(GRN)——在临床笔记分类下的表现，条件为资源受限的实际场景。所有实验均在单块 NVIDIA Quadro P620 GPU 上完成(2 GB VRAM、512 CUDA 核心、1.386 TFLOPS FP32)，限制 batch size 小于 8 个序列，最大序列长度为 256。我们的临床语料库仅包含 58 万个 token，相较于标准 LLM 预训练数据集小了多个数量级。我们对三个生物医学预训练 LLM(CamemBERT-bio、AliBERT、DrBERT)和两个从头训练的轻量级 Transformer 模型进行微调。结果表明：1) 在这些约束条件下，适配器结构对生物医学 LLM 的微调没有一致性提升；2) 在训练时间不到 6 小时的情况下，简单的 Transformer 模型（具有最小参数数量）优于需要超过 1000 GPU 小时的适配器增强 LLM。适配器中，GRN 获得了最佳指标(准确率、精确率、�回率、F1 = 0.88)。这些发现表明，在数据和计算有限的低资源临床环境中，轻量级 Transformer 从头训练比大型 LLM 更具实用性和效率，而 GRN 仍是实现最小化适应需求的可行选择。
引用
@article{arxiv.2407.19299,
title = {The Impact of LoRA Adapters on LLMs for Clinical Text Classification Under Computational and Data Constraints},
author = {Thanh-Dung Le and Ti Ti Nguyen and Vu Nguyen Ha and Symeon Chatzinotas and Philippe Jouvet and Rita Noumeir},
journal= {arXiv preprint arXiv:2407.19299},
year = {2025}
}
备注
Accepted for publication in the IEEE Access