关注 Clinical BERT：探究语言模型在糖尿病眼病表型提取中的泛化能力
计算与语言
2023-11-16 v1 人工智能
机器学习
摘要
糖尿病眼病是全球失明的主要原因。监测相关临床轨迹并发现诊疗疏漏对于疾病管理与预防失明至关重要。遗憾的是，支持这些目标所需的大量信息仅存在于电子病历的自由文本中。为填补这一信息缺口，我们引入了一个从临床文本中提取 19 个糖尿病眼病相关临床概念证据并推断各自相关属性的系统。在开发这一眼科表型系统过程中，我们也获得了一个独特机会来评估临床语言模型在适应新临床领域时的有效性。在多种训练范式下，我们发现，在分布外临床数据上预训练的 BERT 语言模型，在我们的领域中相较于在非临床数据上预训练的 BERT 语言模型并无显著改进。我们的研究削弱了近期关于临床数据预训练语言模型是临床 NLP 任务所必需的论断，并凸显了不应将临床语言数据视为单一同质领域的重要性。
引用
@article{arxiv.2311.08687,
title = {An Eye on Clinical BERT: Investigating Language Model Generalization for Diabetic Eye Disease Phenotyping},
author = {Keith Harrigian and Tina Tang and Anthony Gonzales and Cindy X. Cai and Mark Dredze},
journal= {arXiv preprint arXiv:2311.08687},
year = {2023}
}
备注
Extended Abstract presented at Machine Learning for Health (ML4H) symposium 2023, December 10th, 2023, New Orleans, United States, 24 pages