通用领域迁移学习在医学语言任务中的效用
计算与语言
2020-02-19 v1 机器学习
摘要
本研究的目的是分析迁移学习技术与基于 Transformer 的模型在医学自然语言处理（NLP）任务（具体为放射学文本分类）上的效用。我们使用来自总计 96,303 份报告语料中的 1,977 份标注头部 CT 报告，评估利用通用领域语料及通用与医学领域联合语料，通过双向 Transformer 表示（BERT）模型进行预训练以用于放射学文本分类的效用。模型性能以基于词袋向量化的逻辑回归和长短期记忆（LSTM）多标签多类分类模型为基准，并与已发表的医学文本分类文献进行比较。使用任一组预训练检查点的 BERT 模型均优于逻辑回归模型，通用领域模型与通用及生物医学领域联合模型分别取得了 0.87 和 0.87 的按样本加权平均 F1 分数。通用文本迁移学习可能是一种在放射学语料上生成医学 NLP 任务最先进结果的可行技术，优于 LSTM 等其他深度模型。预训练与基于 Transformer 的模型的效用有助于在医学文本这一独特挑战性数据环境中创建突破性的 NLP 模型。
引用
@article{arxiv.2002.06670,
title = {The Utility of General Domain Transfer Learning for Medical Language Tasks},
author = {Daniel Ranti and Katie Hanss and Shan Zhao and Varun Arvind and Joseph Titano and Anthony Costa and Eric Oermann},
journal= {arXiv preprint arXiv:2002.06670},
year = {2020}
}
备注
8 pages, 5 figures, 2 tables