利用先进 LLM 增强多分类疾病分类：肿瘤、心血管、神经系统和消化系统疾病
计算与语言
2024-11-20 v1 人工智能
摘要
在本研究中，我们探索了通过预训练语言模型在涵盖五种医疗状况的 Medical-Abstracts-TC-Corpus 上改进多分类疾病分类。我们排除了非癌症状况，并考察了四种特定疾病。我们评估了四个 LLM：BioBERT、XLNet 和 BERT，以及一个新的基础模型（Last-BERT）。在医疗数据上预训练的 BioBERT 在医疗文本分类中表现出卓越的性能（97% 准确率）。令人惊讶的是，XLNet 紧随其后（96% 准确率），证明了其跨领域的泛化能力，尽管它并未在医疗数据上进行预训练。LastBERT 是基于 BERT 轻量版本的自定义模型，也证明了其竞争力，准确率为 87.10%（略低于 BERT 的 89.33%）。我们的发现证实了诸如 BioBERT 等专用模型的重要性，同时也支持了在医疗领域任务中采用更通用解决方案（如 XLNet）以及参数较少且经过良好调优的 Transformer 架构（在本例中为 LastBERT）的印象。
引用
@article{arxiv.2411.12712,
title = {Enhancing Multi-Class Disease Classification: Neoplasms, Cardiovascular, Nervous System, and Digestive Disorders Using Advanced LLMs},
author = {Ahmed Akib Jawad Karim and Muhammad Zawad Mahmud and Samiha Islam and Aznur Azam},
journal= {arXiv preprint arXiv:2411.12712},
year = {2024}
}
备注
7 Pages, 4 tables and 11 figures. Under review in a IEEE conference