Transformer模型用于临床文本数据去标识化的比较评估
计算与语言
2022-04-15 v1 应用统计
统计计算
摘要
目的：在i2b2/UTHealth 2014临床文本去标识化挑战语料库上，比较评估若干transformer模型架构识别受保护健康信息（PHI）的能力。方法：i2b2/UTHealth 2014语料库包含来自N=296名患者的N=1304份临床笔记。使用迁移学习框架，我们在该语料库上微调若干transformer模型架构，包括：BERT-base、BERT-large、ROBERTA-base、ROBERTA-large、ALBERT-base与ALBERT-xxlarge。微调期间我们改变以下模型超参数：批大小、训练轮数、学习率与权重衰减。我们在训练集上微调模型，在独立验证集上评估并选择最优性能模型，最后在留出测试集上评估泛化性能。我们以准确率、精确率（阳性预测值）、召回率（灵敏度）和F1分数（精确率与召回率的调和平均）评估模型性能。我们关注整体模型性能（PHI识别与否），以及特定PHI的模型性能。结果：我们观察到ROBERTA-large模型在i2b2/UTHealth 2014语料库上识别PHI表现最佳，在留出测试语料库上取得>99%的整体准确率与96.7%的召回率/精确率。许多PHI类别的性能良好；但以下实体类的识别准确率/精确率/召回率下降：职业、组织、年龄及某些位置。结论：Transformers是用于临床文本去标识化的一类有前景的模型/架构。仅需极少超参数调优，transformers就能让研究者/临床医生获得（接近）最先进的性能。
引用
@article{arxiv.2204.07056,
title = {A Comparative Evaluation Of Transformer Models For De-Identification Of Clinical Text Data},
author = {Christopher Meaney and Wali Hakimpour and Sumeet Kalia and Rahim Moineddin},
journal= {arXiv preprint arXiv:2204.07056},
year = {2022}
}
备注
38 pages, 3 figures, 6 tables, arxiv pre-print