EpilepsyLLM：基于癫痫医学知识微调的领域专用大语言模型
计算与语言
2024-01-12 v1 机器学习
摘要
凭借庞大的训练数据集和大量的计算资源，大语言模型（LLMs）在综合与生成能力方面取得了卓越的性能。基于这些强大的 LLM，使用领域特定数据集微调的模型拥有更专业的知识，因此更具实用性，例如医学 LLM。然而，现有的微调医学 LLM 仅限于英文的通用医学知识。对于特定疾病的问题，模型的回应不准确，有时甚至完全无关，尤其是在使用英语以外的语言时。在这项工作中，我们聚焦于癫痫这一特定疾病，并使用日语，引入了一个定制的 LLM，称为 EpilepsyLLM。我们的模型是通过使用癫痫领域的数据集，采用微调技术从预训练的 LLM 训练而来。这些数据集包含疾病基本信息、常见治疗方法和药物，以及生活和工作中的重要注意事项等知识。实验结果表明，EpilepsyLLM 能够提供更可靠和专业的医学知识回应。
引用
@article{arxiv.2401.05908,
title = {EpilepsyLLM: Domain-Specific Large Language Model Fine-tuned with Epilepsy Medical Knowledge},
author = {Xuyang Zhao and Qibin Zhao and Toshihisa Tanaka},
journal= {arXiv preprint arXiv:2401.05908},
year = {2024}
}