SuryaKiran在MEDIQA-Sum 2023: 利用LoRA进行临床对话摘要
计算与语言
2023-07-12 v1 人工智能
机器学习
摘要
微调大语言模型有助于改善特定领域用例的结果。大语言模型的端到端微调耗时耗资源,且需要较高的存储开销来保存微调后的大语言模型版本。参数高效微调(PEFT)方法通过保持大语言模型为固定基座并添加额外层(由PEFT方法微调)来解决时间和资源挑战。本文展示了一种此类PEFT方法——低秩适配(LoRA)用于临床对话摘要的评估结果。评估结果表明,LoRA在大语言模型上的表现与端到端微调相当。本文呈现了为求解ImageCLEFmedical(https://www.imageclef.org/2023/medical)中的子任务A和B所进行的评估。
引用
@article{arxiv.2307.05162,
title = {SuryaKiran at MEDIQA-Sum 2023: Leveraging LoRA for Clinical Dialogue Summarization},
author = {Kunal Suri and Prakhar Mishra and Saumajit Saha and Atul Singh},
journal= {arXiv preprint arXiv:2307.05162},
year = {2023}
}