面向临床领域的LLaMA参数高效微调
计算与语言
2024-06-11 v3 机器学习
摘要
将预训练语言模型适配到新领域（如临床应用）传统上涉及对其全部参数进行重新训练。用于微调语言模型的参数高效微调（PEFT）技术通过选择性地微调小规模参数子集，显著降低了计算需求。在本研究中，我们提出了一个两步PEFT框架，并在临床领域对其进行评估。我们的方法将专为临床领域适配设计的专用PEFT适配器层与另一个专用于下游任务的适配器相结合。我们在多个临床结局预测数据集上评估该框架，并与经过临床训练的语言模型进行比较。我们的框架在所有临床下游任务上的平均AUROC分数优于临床语言模型。特别地，我们在大规模多标签分类任务（如诊断和手术分类）中观察到AUROC提升4-5%。据我们所知，本研究首次在临床应用这一重要现实领域中，对PEFT技术与领域适配之间的相互作用提供了广泛的实证分析。
引用
@article{arxiv.2307.03042,
title = {Parameter-Efficient Fine-Tuning of LLaMA for the Clinical Domain},
author = {Aryo Pradipta Gema and Pasquale Minervini and Luke Daines and Tom Hope and Beatrice Alex},
journal= {arXiv preprint arXiv:2307.03042},
year = {2024}
}