医学文本摘要的参数高效微调：LoRA、Prompt Tuning 与 Full Fine-Tuning 的比较研究
计算与语言
2026-03-26 v1 人工智能
摘要
为领域特定任务（如医学文本摘要）进行大型语言模型微调需要大量计算资源。参数高效微调（PEFT）方法通过仅更新少数参数提供了有前景的替代方案。本文在 Flan-T5 模型系列上对比三种适配方法——低秩适配（LoRA）、Prompt Tuning 与 Full Fine-Tuning——在 PubMed 医学摘要数据集上进行实验。通过多随机种子实验，我们展示了 LoRA 在仅使用 0.6% 可训练参数时，始终优于 Full Fine-Tuning，在 Flan-T5-Large 上取得 43.52 +/- 0.18 的 ROUGE-1 分数，相较于 Full Fine-Tuning 的 40.67 +/- 0.21。灵敏度分析检验 LoRA 秩和提示标记数计数的影响。我们的发现表明低秩约束提供了有益的正则化，挑战了关于完全参数更新是否必需的假设。代码地址：https://github.com/eracoding/llm-medical-summarization
引用
@article{arxiv.2603.21970,
title = {Parameter-Efficient Fine-Tuning for Medical Text Summarization: A Comparative Study of Lora, Prompt Tuning, and Full Fine-Tuning},
author = {Ulugbek Shernazarov and Rostislav Svitsov and Bin Shi},
journal= {arXiv preprint arXiv:2603.21970},
year = {2026}
}
备注
9 pages, 5 figures, presented at 6th International Conference on NLP & Text Mining (NLTM 2026), March 21-22, Sydney, Australia. Published in Computer Science & Information Technology (CS & IT), pp. 01-09, 2026