ClinicalMamba：一种基于纵向临床笔记的生成式临床语言模型
计算与语言
2024-03-12 v1
摘要
自然语言处理（NLP）系统在医疗保健领域的进步取决于语言模型解读临床笔记中包含的复杂信息的能力。这一过程通常需要整合患者病史中不同时间点的信息。然而，大多数早期的临床语言模型在预训练时的上下文长度被限制在大约一份临床文档。在本研究中，我们引入了 ClinicalMamba，这是 Mamba 语言模型的一个专门版本，在庞大的纵向临床笔记语料库上进行了预训练，以解决医疗领域独特的语言特征和信息处理需求。ClinicalMamba 具有 1.3 亿和 28 亿参数，与 Mamba 和临床 Llama 相比，在跨更长文本长度建模临床语言方面展现出更优异的性能。通过少样本学习，ClinicalMamba 在速度和准确性上取得了显著基准，在纵向临床笔记信息提取任务中优于现有的临床语言模型和通用领域大模型（如 GPT-4）。
引用
@article{arxiv.2403.05795,
title = {ClinicalMamba: A Generative Clinical Language Model on Longitudinal Clinical Notes},
author = {Zhichao Yang and Avijit Mitra and Sunjae Kwon and Hong Yu},
journal= {arXiv preprint arXiv:2403.05795},
year = {2024}
}