70亿参数大型语言模型在日语医学问答中的应用
计算与语言
2024-06-24 v1
摘要
随着大型语言模型（Large Language Model, LLM）的兴起，领域适应已成为 various 领域的一个热门话题。最近许多针对英语医学数据集训练的医学 LLM 已公开发布。然而，日语医学领域的 LLM 仍缺乏相关研究。本文首次利用多种 70 亿参数的 LLM，并表明通过使用日语医学问答数据集进行指令微调，显著提高了日语 LLM 解决日语医学执照考试能力，准确率超过 50%。特别地，日语中心模型相较于英语中心模型在指令微调方面取得了更显著的提升。这凸显了在本语言环境中进行持续预训练和调整分词器的重要性。我们还检查了两种略有不同的提示格式，结果显示这些格式对性能影响不容小觑。
引用
@article{arxiv.2406.14882,
title = {70B-parameter large language models in Japanese medical question-answering},
author = {Issey Sukeda and Risa Kishikawa and Satoshi Kodera},
journal= {arXiv preprint arXiv:2406.14882},
year = {2024}
}
备注
7 pages, 2 figures, 4 Tables