学生需要更多注意力：基于 BERT 的注意力模型用于小数据及在自动患者消息分诊中的应用
计算与语言
2020-06-23 v1 机器学习
摘要
在医疗健康领域常见的小型且不平衡数据集，对基于深度学习模型训练分类器提出了挑战。受此驱动，我们提出了一种基于 BioBERT（用于生物医学文本挖掘的 Transformer 双向编码器表示）的新颖框架。具体而言，(i) 我们在 BERT 的每一层中引入用于自注意力的标签嵌入，称之为 LESA-BERT；(ii) 通过将 LESA-BERT 蒸馏为更小的变体，我们旨在处理小数据集时减少过拟合与模型规模。作为一个应用，我们的框架被用于构建患者门户消息分诊模型，该模型将消息的紧急程度分为三类：非紧急、中等和紧急。实验表明，我们的方法在宏 F1 分数上以 4.3% 的显著优势优于多个强基线分类器。本项目的代码公开于 \url{https://github.com/shijing001/text_classifiers}。
引用
@article{arxiv.2006.11991,
title = {Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage},
author = {Shijing Si and Rui Wang and Jedrek Wosik and Hao Zhang and David Dov and Guoyin Wang and Ricardo Henao and Lawrence Carin},
journal= {arXiv preprint arXiv:2006.11991},
year = {2020}
}
备注
20 pages, Machine Learning for Healthcare 2020 (To appear)