Aqulia-Med LLM：开源医学语言模型的全流程先驱
计算与语言
2024-06-19 v1 人工智能
摘要
最近，闭源 LLM 和开源社区在各个通用领域都取得了显著进展，甚至超过了人类的表现。然而，在医学等特定专业领域，尤其是在开源社区中，其表现仍不理想，这源于医学知识的复杂性。我们提出 Aquila-Med，这是一个基于 Aquila 的双语医学 LLM，通过持续预训练、监督式微调（SFT）和来自人类反馈的强化学习（RLHF）来应对这些挑战。我们构建了大规模中文和英文医学数据集用于持续预训练和高质量的 SFT 数据集，涵盖广泛的医学专科。此外，我们开发了高质量的直接偏好优化（DPO）数据集用于进一步对齐。Aquila-Med 在单轮、多轮对话和医学多选题等方面取得显著成绩，显示我们方法的有效性。我们开源数据集和整个训练过程，为研究社区贡献了宝贵的资源。我们的模型和数据集将在 https://huggingface.co/BAAI/AquilaMed-RL 上发布。
引用
@article{arxiv.2406.12182,
title = {Aqulia-Med LLM: Pioneering Full-Process Open-Source Medical Language Models},
author = {Lulu Zhao and Weihao Zeng and Xiaofeng Shi and Hua Zhou and Donglin Hao and Yonghua Lin},
journal= {arXiv preprint arXiv:2406.12182},
year = {2024}
}