使用Transformer模型检测荷兰语临床自由文本中的药物不良事件：基准研究
摘要
在本研究中，我们使用多种transformer模型、临床场景和适合目的的绩效指标，为荷兰语临床自由文本中的药物不良事件（ADE）检测建立了一个基准。我们训练了一个双向长短期记忆（Bi-LSTM）模型和四个基于transformer的荷兰语和/或多语言编码器模型（BERTje、RobBERT、MedRoBERTa(.)nl和NuNER），用于命名实体识别（NER）和关系分类（RC）任务，使用了102份注释丰富的荷兰语ICU临床病程记录。我们复用了来自一家学术医院重症监护室（ICU）住院患者的匿名化自由文本临床病程记录，以及来自两家非学术医院内科病房住院患者的出院信。我们使用金标准（两步任务）和预测实体（端到端任务）对ADE RC模型进行了内部评估。此外，所有模型都在文档级别进行了ADE检测的外部验证。鉴于ADE数据集的失衡，我们报告了微平均和宏平均F1分数。尽管模型之间在ADE RC任务上的差异很小，但MedRoBERTa(.)nl是表现最好的模型，使用金标准时的宏平均F1分数为0.63，使用预测实体时为0.62。MedRoBERTa(.)nl模型在我们的外部验证中也表现最佳，使用预测实体时召回率在0.67到0.74之间，意味着67%到74%含有ADE的出院信被检测出来。我们的基准研究为评估用于临床自由文本中ADE检测的语言模型提供了一种稳健且具有临床意义的方法。我们的研究强调了使用适合临床自由文本中ADE检测任务及未来预期临床应用的适当绩效指标的必要性。
引用
@article{arxiv.2507.19396,
title = {Detection of Adverse Drug Events in Dutch clinical free text documents using Transformer Models: benchmark study},
author = {Rachel M. Murphy and Nishant Mishra and Nicolette F. de Keizer and Dave A. Dongelmans and Kitty J. Jager and Ameen Abu-Hanna and Joanna E. Klopotowska and Iacer Calixto},
journal= {arXiv preprint arXiv:2507.19396},
year = {2025}
}
备注
30 Pages, 5 Figures (Main Paper), 19 Pages, 2 Figures(Supplements). Rachel M. Murphy and Nishant Mishra are shared first authors. Joanna E. Klopotowska and Iacer Calixto are shared last authors