用于长序列与多份临床文档分类的三级层次化Transformer网络
计算与语言
2021-12-20 v2
摘要
我们提出了一种三级层次化Transformer网络（3-level-HTN），用于建模跨临床记录的长期依赖关系，以实现患者级预测。该网络配备三级基于Transformer的编码器，从词到句、从句到记录、最终从记录到患者逐级学习。从词到句的第一级直接采用预训练的BERT模型作为完全可训练的组件。第二级与第三级均实现为基于Transformer编码器的堆叠，在最终的患者表示送入分类层进行临床预测之前完成编码。与常规BERT模型相比，我们的模型将最大输入长度从512个词元扩展到适合建模大量临床记录的更长序列。我们在计算资源限制下通过实证考察不同超参数以确定最优权衡。在MIMIC-III数据集上针对不同预测任务的实验结果表明，所提出的层次化Transformer网络优于以往最先进的模型，包括但不限于BigBird。
引用
@article{arxiv.2104.08444,
title = {Three-level Hierarchical Transformer Networks for Long-sequence and Multiple Clinical Documents Classification},
author = {Yuqi Si and Kirk Roberts},
journal= {arXiv preprint arXiv:2104.08444},
year = {2021}
}
备注
Codes are available at https://github.com/Yuqi92/3-level-HTN-MIMIC