利用在线数据提升小型波斯语语言模型中的医学知识

语言模型的快速发展已显示出人工智能在医疗行业具有潜力。然而，小型语言模型在像波斯语这样的低资源语言的专业领域方面存在挑战。虽然大量医学领域网站在波斯语中存在，但尚无已整理的数据集或语料库。本研究引入了由 2 万个医生-患者问答对组成的新型数据集，以及来自医学杂志的 60% 约 9000 万字的爬取语料库。使用参数高效微调方法，我们增强了基线模型 aya-expanse-8b 的医学知识。基准评估显示，微调后的模型在医学问答方面实现了 improved 的准确率，并成功通过了 2023 年 9 月的伊朗基础医学科学入学考试 (IBSEE)，而基线模型未能通过。此外，微调后的模型将波斯语翻译后的 MMLU 意识准确率提高了平均 2.67%。本工作凸显了利用开放获取的在线数据丰富医学小型语言模型的潜力，为资源受限环境中的波斯语医疗 AI 应用提供了新颖解决方案。未来的研究可以探索多模态输入以进一步提升性能。