使用大语言表示模型进行事故学习报告的自动分流与迁移学习
计算与语言
2025-09-18 v1 人工智能
摘要
目的：事故报告是医疗保健和质量改进的重要工具，但手动审核耗时且需要专业知识。本文提出一种自然语言处理（NLP）筛选工具，用于检测辐射科学两机构之间的高严重性事故报告。方法与材料：我们使用两个文本数据集进行训练和评估：来自我机构（Inst.）的7094份报告和来自IAEA SAFRON（SF）的571份报告，所有报告均由临床内容专家标记了严重性评分。我们训练和评估了两种类型的模型：基线支持向量机（SVM）和BlueBERT，这是一种在PubMed摘要和住院患者数据上预训练的大型语言模型。我们以两种方式评估模型在跨机构情境下的通用性。首先，我们评估使用Inst.训练的模型在SF-test上的表现。其次，我们训练了一个BlueBERT_TRANSFER模型，该模型首先在Inst.训练集上微调，然后在SF-train上微调，再在SF-test集上测试。为进一步分析模型性能，我们还检查了来自我机构数据集中59份报告的子集，这些报告已被手动编辑以提高清晰度。结果：在Inst.测试集上实现的分类性能，SVM达到AUROC 0.82，BlueBERT达到0.81。在没有跨机构迁移学习的情况下，SF测试集的性能使用SVM的AUROC为0.42，BlueBERT为0.56。BlueBERT_TRANSFER模型在SF测试集上将性能提升至AUROC 0.78。SVM和BlueBERT_TRANSFER模型在手动精选的Inst.报告上的性能（AUROC分别为0.85和0.74）与人类性能（AUROC 0.81）相似。结论：总之，我们成功开发了针对辐射科学中心事故报告文本的跨机构NLP模型。这些模型能够在精选数据集上类似于人类方式检测高严重性报告。
引用
@article{arxiv.2509.13706,
title = {Automated Triaging and Transfer Learning of Incident Learning Safety Reports Using Large Language Representational Models},
author = {Peter Beidler and Mark Nguyen and Kevin Lybarger and Ola Holmberg and Eric Ford and John Kang},
journal= {arXiv preprint arXiv:2509.13706},
year = {2025}
}