日语临床医学小型语言模型技术报告
计算与语言
2024-12-24 v1 人工智能
机器学习
摘要
本报告介绍了用于日语临床医学的小型语言模型（SLM），命名为 NCVC-slm-1。该模型拥有 10 亿参数，基于分类为高质量日文文本进行训练。此外，NCVC-slm-1 针对临床和医学内容进行了增强，包括多种疾病、药物和检查项目。通过精心设计的预处理、专业形态学分析器和分词器，该小型轻量模型不仅能生成文本，还表明理解临床和医学文本的可行性。在与其他大型语言模型比较后，针对 JMED-LLM 上 8 个任务中的 6 个任务进行微调的 NCVC-slm-1 获得了最高得分。根据这些结果，小型模型在临床和医学领域完成多个下游任务方面具有可行性。希望 NCVC-slm-1 能为临床和医学领域的发展注入动力，为光明的未来贡献力量。
关键词
引用
@article{arxiv.2412.16423,
title = {Technical Report: Small Language Model for Japanese Clinical and Medicine},
author = {Shogo Watanabe},
journal= {arXiv preprint arXiv:2412.16423},
year = {2024}
}