利用傅里叶网络高效联合学习临床命名实体识别与关系抽取：以药物不良事件为例
计算与语言
2023-02-09 v1 机器学习
摘要
当前的临床信息抽取方法在计算成本和内存消耗方面效率低下，阻碍了其处理大规模电子健康记录（EHRs）的应用。我们提出了一种高效的端到端模型 Joint-NER-RE-Fourier (JNRF)，用于联合学习变长文档的命名实体识别和关系抽取任务。该架构使用位置编码和单位批量大小来处理变长文档，并使用权重共享的傅里叶网络层进行低复杂度的词元混合。最后，我们通过选择性池化策略和具有可训练多项式距离函数的距离感知注意力权重，达到了关系抽取的理论计算复杂度下界。我们使用 2018 N2C2 ADE 基准评估 JNRF 架构，以在变长 EHR 摘要中联合抽取药物相关实体和关系。JNRF 比带选择性池化的滚动窗口 BERT 性能高出 0.42%，同时训练速度快一倍。与 N2C2 ADE 基准上最先进的 BiLSTM-CRF 架构相比，结果表明所提方法训练快 22 倍，GPU 内存消耗降低 1.75 倍，性能合理折中为 90%，且不使用外部工具、手工规则或后处理。鉴于深度学习模型的显著碳足迹和当前的能源危机，这些方法可支持 EHRs 和其他类型大规模文档数据库的高效且更清洁的信息抽取。
引用
@article{arxiv.2302.04185,
title = {Efficient Joint Learning for Clinical Named Entity Recognition and Relation Extraction Using Fourier Networks: A Use Case in Adverse Drug Events},
author = {Anthony Yazdani and Dimitrios Proios and Hossein Rouhizadeh and Douglas Teodoro},
journal= {arXiv preprint arXiv:2302.04185},
year = {2023}
}
备注
International Conference on Natural Language Processing (ICON 2022)