JMedLoRA：基于指令微调的日语大语言模型医学领域自适应
计算与语言
2023-12-04 v2
摘要
在ChatGPT等大语言模型（LLMs）所带来的持续影响浪潮中，LLMs向医学领域的自适应已成为一个关键的研究前沿。由于主流LLMs往往为通用目的应用而设计，通过领域自适应构建医学LLM是一项巨大挑战。尽管指令微调被用于微调部分LLMs，其在领域自适应中的确切作用仍属未知。在此我们展示了基于LoRA的指令微调对日语医学问答任务性能的贡献。为此，我们对选择题进行多面评估，除常规准确率外，还包括基于“精确匹配”和“格式塔距离”的评分。我们的发现表明，基于LoRA的指令微调可将领域特定知识部分地融入LLMs，且较大模型表现出更显著的效果。此外，我们的结果强调了将以英语为中心的模型用于日语领域自适应应用的潜力，同时也凸显了以日语为中心的模型持续存在的局限性。这一举措代表了使医疗机构能够在无需依赖外部服务的情况下微调并运行模型的开拓性努力。
引用
@article{arxiv.2310.10083,
title = {JMedLoRA:Medical Domain Adaptation on Japanese Large Language Models using Instruction-tuning},
author = {Issey Sukeda and Masahiro Suzuki and Hiroki Sakaji and Satoshi Kodera},
journal= {arXiv preprint arXiv:2310.10083},
year = {2023}
}
备注
8 pages, 1 figures