RadBERT-CL：用于放射学报告分类的基于事实感知的对比学习
机器学习
2021-11-22 v2 计算与语言
摘要
放射学报告是非结构化的，包含放射科医生转录的影像发现及相应诊断，其中有临床事实以及否定和/或不确定的陈述。从放射学报告中提取病理发现和诊断对于质量控制、人群健康和疾病进展监测十分重要。现有工作主要依赖基于规则的系统或基于 transformer 的预训练模型微调，但无法考虑事实和不确定信息，因此会产生假阳性输出。在本工作中，我们引入了三种精细的数据增强技术，在生成对比学习增强样本的同时保留事实和关键信息。我们提出了 RadBERT-CL，它通过自监督对比损失将这些信息融合进 BlueBert。我们在 MIMIC-CXR 上的实验表明，RadBERT-CL 在多类多标签报告分类的微调任务上性能优越。我们说明，在仅有少量标注数据可用时，RadBERT-CL 比常规 SOTA transformer（BERT/BlueBert）的性能高出显著幅度（6–11%）。我们还表明，RadBERT-CL 学习到的表示能够在潜在空间中捕捉关键的医学信息。
引用
@article{arxiv.2110.15426,
title = {RadBERT-CL: Factually-Aware Contrastive Learning For Radiology Report Classification},
author = {Ajay Jaiswal and Liyan Tang and Meheli Ghosh and Justin Rousseau and Yifan Peng and Ying Ding},
journal= {arXiv preprint arXiv:2110.15426},
year = {2021}
}