基于注意力深度学习模型与 BERT 的病程记录分类及关键词提取
计算与语言
2019-10-25 v2
摘要
各类深度学习算法已被开发用于分析不同类型的临床数据，包括临床文本分类和从“自由文本”中提取信息等。然而，从临床记录中自动提取关键词仍具挑战性。这些挑战包括处理含有各种缩写、可能拼写错误和非结构化句子的噪声临床记录。本研究的目标是探究基于注意力的深度学习模型，以对从真实世界电子健康记录（EHR）系统中提取的去标识化临床病程记录进行分类。基于注意力的深度学习模型可用于解释模型并理解驱动病程记录正确或错误分类的关键词。本研究中的注意力模型能够呈现人类可解释的文本分类模型。结果显示，带注意力层微调后的 BERT 可达到 97.6% 的高分类准确率，优于基线微调 BERT 分类模型。在本研究中，我们还证明了基于注意力的模型能够识别与临床病程记录类别强相关的关键词。
引用
@article{arxiv.1910.05786,
title = {Progress Notes Classification and Keyword Extraction using Attention-based Deep Learning Models with BERT},
author = {Matthew Tang and Priyanka Gandhi and Md Ahsanul Kabir and Christopher Zou and Jordyn Blakey and Xiao Luo},
journal= {arXiv preprint arXiv:1910.05786},
year = {2019}
}