利用语言模型改进放射性报告中的 VTE 识别：Mamba、Phi-3 Mini 与 BERT 的比较研究
机器学习
2024-08-20 v1 人工智能
计算与语言
摘要
静脉血栓栓塞 (VTE) 是一种关键心血管疾病，包括深静脉血栓 (DVT) 和肺栓塞 (PE)。准确及时地识别 VTE 对有效医疗至关重要。该研究建立在我们之前的工作基础上，之前的工作针对 DVT 使用深度学习方法进行检测，针对 PE 使用深度学习和基于规则的分类方法的混合方法。我们的早期方法虽然有效，但存在两个主要局限：方法复杂且需要专家参与规则集的特征工程。为克服这些挑战，我们利用基于 Mamba 架构的分类器。该模型在 DVT 数据集上实现了97%的准确率和 F1 分数，在 PE 数据集上实现了98%的准确率和 F1 分数。与之前在 PE 识别上使用的混合方法相比，Mamba 分类器消除了手工规则的需求，显著降低了模型复杂度，同时保持了可comparable的性能。此外，我们评估了轻量级大型语言模型 (LLM)，Phi-3 Mini，在检测 VTE 方面提供了具竞争力的结果，超过了基线 BERT 模型，但由于其更大的参数集，计算密集。我们的评估表明，基于 Mamba 的模型在 VTE 识别方面表现出更好的性能和效率，为克服之前方法的局限提供了有效解决方案。
关键词
引用
@article{arxiv.2408.09043,
title = {Improving VTE Identification through Language Models from Radiology Reports: A Comparative Study of Mamba, Phi-3 Mini, and BERT},
author = {Jamie Deng and Yusen Wu and Yelena Yesha and Phuong Nguyen},
journal= {arXiv preprint arXiv:2408.09043},
year = {2024}
}