CancerLLM：癌症领域的大型语言模型
计算与语言
2025-04-02 v3
摘要
医学大型语言模型（LLM）已在各种医学自然语言处理任务中展现出卓越性能；然而，目前仍缺乏专门为癌症领域表型识别和诊断设计的大型语言模型。此外，这些LLM通常有数十亿参数，使得医疗系统在计算上成本高昂。因此，在本研究中，我们提出了CancerLLM，一个拥有70亿参数和Mistral风格架构的模型，在涵盖17种癌症类型的近270万份临床笔记和超过57万份病理报告上进行了预训练，并在两个癌症相关任务上进行了微调：癌症表型提取和癌症诊断生成。我们的评估表明，CancerLLM在表型提取上的F1分数达到91.78%，在诊断生成上达到86.81%，取得了最先进的结果。它超越了现有的LLM，平均F1分数提高了9.23%。此外，CancerLLM在时间和GPU使用方面表现出高效性，并与其他LLM相比具有鲁棒性。我们证明了CancerLLM可以为推进癌症领域的临床研究和实践提供有效且稳健的解决方案。
引用
@article{arxiv.2406.10459,
title = {CancerLLM: A Large Language Model in Cancer Domain},
author = {Mingchen Li and Jiatan Huang and Jeremy Yeung and Anne Blaes and Steven Johnson and Hongfang Liu and Hua Xu and Rui Zhang},
journal= {arXiv preprint arXiv:2406.10459},
year = {2025}
}
备注
new version, add the RAG version of cancerLLM