基于 Sig-Transformer 编码器的瑞典语医疗处方信息抽取
计算与语言
2020-10-13 v1
摘要
依赖诸如来自 Transformer 的双向编码器表示（BERT）等大型预训练语言模型进行编码并添加简单预测层，已在许多临床自然语言处理（NLP）任务中带来令人印象深刻的性能。在这项工作中，我们通过对自注意力模型融入签名变换，提出了一种对 Transformer 架构的新颖扩展。该架构被添加在嵌入层与预测层之间。在一个新的瑞典语处方数据上的实验表明，相较于基线模型，所提架构在三项信息抽取任务中的两项上更优。最后，我们评估了两种不同的嵌入方法：应用多语言 BERT，以及将瑞典语文本翻译为英语后再用基于临床笔记预训练的 BERT 模型编码。
引用
@article{arxiv.2010.04897,
title = {Information Extraction from Swedish Medical Prescriptions with Sig-Transformer Encoder},
author = {John Pougue Biyong and Bo Wang and Terry Lyons and Alejo J Nevado-Holgado},
journal= {arXiv preprint arXiv:2010.04897},
year = {2020}
}