SM70：面向医疗设备的大型语言模型

我们正在推出 SM70，这是一个拥有 700 亿参数的大型语言模型，专为 SpassMed 品牌名为“JEE1”（发音同 G1，意为“生命”）的医疗设备设计。该大型语言模型针对医疗领域问题提供更准确、安全的响应。为了微调 SM70，我们使用了公开可用数据集 MedAlpaca 中的约 80 万条数据。开源模型 Llama2 70B 作为 SM70 的基础，我们采用 QLoRA 技术进行微调。评估在三个基准数据集上进行——MEDQA-USMLE、PUBMEDQA 和 USMLE——每个数据集代表了医学知识和推理的一个独特方面。SM70 的性能与其他著名的 LLM 进行了对比，包括 Llama2 70B、Clinical Camel 70 (CC70)、GPT 3.5、GPT 4 和 Med-Palm，以提供其在医疗领域能力的比较性理解。我们的结果表明，SM70 在这些数据集上优于多个既有模型，展示了其处理各种医疗查询的能力，从基于 PubMed 摘要的事实性问题到复杂的临床决策场景。SM70 的稳健性能，特别是在 USMLE 和 PUBMEDQA 数据集上，表明其作为临床决策支持和医疗信息检索有效工具的潜力。尽管结果令人鼓舞，本文也承认了 SM70 落后于最先进模型 GPT 4 的领域，从而强调了进一步发展的必要性，特别是在需要广泛医学知识和复杂推理的任务中。