面向合理低计算资源的日文医学大语言模型的开发与双语评估
计算与语言
2024-09-23 v2
摘要
近期大语言模型（LLM）的成功以及规模定律的推动，导致更大模型的广泛采用。特别是在医疗保健行业，越来越多的需求是本地化运行的 LLM，这是由于安全问题。然而，大多数高质量的开源 LLM 参数量达到 70B，这会给用户在 GPU 准备和运行方面带来巨大的经济负担。为克服这些问题，我们提出了一种基于最近 7B 模型的医学适应方法，使其能够在低计算资源下运行。我们在两种语言（日文和英语）的医学问答基准测试中进行了性能比较，结果显示其得分与目前规模十倍的现有医学 LLM 相当或更好。我们发现，基于日文医学数据集对以英语为中心的基础模型进行微调，可提高两种语言的得分，支持跨语言知识迁移的效果。我们希望本研究能减轻财务挑战，为临床机构在本地实际利用 LLM 作为一步脚印。我们的评估代码可在 https://github.com/stardust-coder/japanese-lm-med-harness 获取。
引用
@article{arxiv.2409.11783,
title = {Development and bilingual evaluation of Japanese medical large language model within reasonably low computational resources},
author = {Issey Sukeda},
journal= {arXiv preprint arXiv:2409.11783},
year = {2024}
}
备注
18 pages, 9 tables