通过两阶段指令微调方法 democratize 医学多语言大语言模型
计算与语言
2024-09-10 v1
摘要
开源的多语言医学大型语言模型( LLM)有望服务于不同地区具有不同语言背景的群体。将通用LLM适用于医疗领域通常需要持续预训练，但这种方法计算成本高且有时不可行。针对特定任务的指令微调可能并不总能保证最佳性能，因为缺乏模型需要理解和在多样化情境中进行推理的更广泛的领域知识。为此，我们引入了两个多语言指令微调数据集MMed-IFT和MMed-IFT-MC，包含超过20万个六种语言的高质量医学样本。我们提出了两种训练范式：第一阶段使用MMed-IFT注入一般医学知识，第二阶段使用MMed-IFT-MC对特定任务的多项选择题进行微调。我们的方法在英文和多语言基准测试中取得了具竞争力的结果，在计算效率和性能之间取得了平衡。我们计划在未来在\url{https://github.com/SpassMed/Med-Llama3}公开我们的数据集和模型权重。
引用
@article{arxiv.2409.05732,
title = {Towards Democratizing Multilingual Large Language Models For Medicine Through A Two-Stage Instruction Fine-tuning Approach},
author = {Meng Zhou and Surajsinh Parmar and Anubhav Bhatti},
journal= {arXiv preprint arXiv:2409.05732},
year = {2024}
}
备注
Technical Report v1, work in progress