Neu-RadBERT 用于增强脑损伤和疾病诊断
摘要
目标：我们旨在开发一种分类算法，从自由文本放射科报告中提取 ARF (急性呼吸衰竭) 患者进行的体外机械通气期间脑部影像的诊断。方法：我们开发并微调了 Neu-RadBERT，这是一种基于 BERT 的模型，用于对非结构化放射科报告进行分类。我们从 MIMIC-IV 数据库中提取了 ARF 患者的脑部影像报告（计算机断层扫描和磁共振成像），对报告的子集进行手动标注，以确定各种脑异常，然后通过三种策略微调 Neu-RadBERT：1) 基线 RadBERT，2) 带掩码语言模型 (MLM) 预训练的 Neu-RadBERT，3) 带 MLM 预训练和过采样以解决数据偏斜的 Neu-RadBERT。我们将该模型的性能与 Llama-2-13B，这是一种自回归 LLM，进行了比较。结果：Neu-RadBERT 模型，特别是采用过采样策略，相对于基线 RadBERT 在脑部异常诊断方面显著提升了诊断准确率，最高可达 98.0% 的准确率。Llama-2-13B 的表现相对较低，二进制分类准确率最高仅为 67.5%。这一结果凸显了当前自回归 LLM 在这一特定分类任务中的潜在局限性，尽管更大规模的模型或进一步微调可能仍有改进潜力。结论：经过目标域预训练和过采样技术增强的 Neu-RadBERT 提供了一种准确可靠的工具，用于从放射科报告中提取神经系统疾病的诊断。本研究强调了基于转换器的 NLP 模型在自动从自由文本报告中提取诊断方面的潜力，其潜在应用范围包括研究和临床实践。
关键词
引用
@article{arxiv.2510.06232,
title = {Neu-RadBERT for Enhanced Diagnosis of Brain Injuries and Conditions},
author = {Manpreet Singh and Sean Macrae and Pierre-Marc Williams and Nicole Hung and Sabrina Araujo de Franca and Laurent Letourneau-Guillon and François-Martin Carrier and Bang Liu and Yiorgos Alexandros Cavayas},
journal= {arXiv preprint arXiv:2510.06232},
year = {2025}
}
备注
Both Manpreet Singh and Sean Macrae contributed equally and should be considered co-first authors. Corresponding author: Yiorgos Alexandros Cavayas