AD-BERT：利用预训练上下文嵌入预测轻度认知障碍向阿尔茨海默病的进展
计算与语言
2022-12-13 v1 机器学习
摘要
目的：我们基于预训练的 Bidirectional Encoder Representations from Transformers（BERT）模型，利用电子健康记录（EHR）中的非结构化临床笔记，开发了一个深度学习框架，用于预测从轻度认知障碍（MCI）向阿尔茨海默病（AD）进展的风险。材料与方法：我们识别了 2000–2020 年间来自 Northwestern Medicine Enterprise Data Warehouse（NMEDW）的 3657 名确诊 MCI 患者及其进展笔记。不晚于首次 MCI 诊断的进展笔记被用于预测。我们首先通过去标识化、清洗与切分对笔记进行预处理，然后基于公开可用的 Bio+Clinical BERT 在预处理后的笔记上预训练了用于 AD 的 BERT 模型（AD-BERT）。由 AD-BERT 处理的患者所有笔记段落的嵌入通过 MaxPooling 组合，以计算 MCI 向 AD 进展的概率。为复现，我们在同一时段内 Weill Cornell Medicine（WCM）识别的 2563 名 MCI 患者上进行了类似实验。结果：与 7 个基线模型相比，AD-BERT 在两个数据集上均取得最佳性能，在 NMEDW 数据集上接收者操作特征曲线下面积（AUC）为 0.8170、F1 分数为 0.4178，在 WCM 数据集上 AUC 为 0.8830、F1 分数为 0.6836。结论：我们开发了使用 BERT 模型的深度学习框架，为通过临床笔记分析预测 MCI 向 AD 进展提供了有效方案。
引用
@article{arxiv.2212.06042,
title = {AD-BERT: Using Pre-trained contextualized embeddings to Predict the Progression from Mild Cognitive Impairment to Alzheimer's Disease},
author = {Chengsheng Mao and Jie Xu and Luke Rasmussen and Yikuan Li and Prakash Adekkanattu and Jennifer Pacheco and Borna Bonakdarpour and Robert Vassar and Guoqian Jiang and Fei Wang and Jyotishman Pathak and Yuan Luo},
journal= {arXiv preprint arXiv:2212.06042},
year = {2022}
}