BiMediX：双语医疗混合专家大语言模型
计算与语言
2024-12-12 v2
摘要
本文介绍了 BiMediX，这是首个专为英语和阿拉伯语无缝交互设计的双语医疗混合专家（Mixture of Experts）大语言模型（LLM）。我们的模型支持广泛的英语和阿拉伯语医疗交互，包括用于询问患者症状和病史等额外细节的多轮对话、多项选择题问答以及开放式问答。我们提出了一种半自动化的英阿翻译流程并辅以人工润色，以确保高质量的翻译。我们还引入了一个全面的阿拉伯语医疗 LLM 评估基准。此外，我们推出了 BiMed1.3M，这是一个涵盖 130 万种多样化医疗交互的大型阿拉伯语 - 英语双语指令集，产生了超过 6.32 亿个医疗专用 token 用于指令微调。我们的 BiMed1.3M 数据集包含 25 万条合成的多轮医患对话，并保持 1:2 的阿拉伯语与英语比例。我们的模型在多个英语医疗评估基准上的平均绝对增益分别比最先进的 Med42 和 Meditron 高出 2.5% 和 4.1%，同时推理速度快了 8 倍。此外，在我们的阿拉伯语医疗基准上，BiMediX 比通用的阿拉伯语 - 英语双语 LLM Jais-30B 平均绝对增益高出 10%，在多个数据集的双语评估中高出 15%。我们的项目页面（包含源代码和训练好的模型）可在 https://github.com/mbzuai-oryx/BiMediX 获取。
引用
@article{arxiv.2402.13253,
title = {BiMediX: Bilingual Medical Mixture of Experts LLM},
author = {Sara Pieri and Sahal Shaji Mullappilly and Fahad Shahbaz Khan and Rao Muhammad Anwer and Salman Khan and Timothy Baldwin and Hisham Cholakkal},
journal= {arXiv preprint arXiv:2402.13253},
year = {2024}
}
备注
Accepted to EMNLP 2024 (Findings)