BERT 可能过于繁重：基于残差卷积神经网络的微小而有效的生物医学实体链接器
计算与语言
2021-09-07 v1 人工智能
摘要
生物医学实体链接是将生物医学文档中的实体提及链接到知识库中对应实体的任务。近来，许多基于 BERT 的模型被引入该任务。尽管这些模型在许多数据集上取得了有竞争力的结果，但它们计算开销大且包含约 1.1 亿参数。人们对其出色性能的贡献因素以及是否真的需要过度参数化知之甚少。在本工作中，我们揭示了这些大型基于 BERT 的模型的内部工作机制。通过一组探测实验，我们发现当输入词序被打乱或将注意力范围限制为固定窗口大小时，实体链接性能仅发生轻微变化。基于这些观察，我们提出了一种带残差连接的高效卷积神经网络用于生物医学实体链接。由于稀疏连接和权值共享特性，我们的模型参数量小且高效。在五个公开数据集上，我们的模型取得了与最先进的基于 BERT 的模型相当甚至更好的链接准确率，同时参数数量约少 60 倍。
引用
@article{arxiv.2109.02237,
title = {BERT might be Overkill: A Tiny but Effective Biomedical Entity Linker based on Residual Convolutional Neural Networks},
author = {Tuan Lai and Heng Ji and ChengXiang Zhai},
journal= {arXiv preprint arXiv:2109.02237},
year = {2021}
}
备注
Accepted to EMNLP 2021 (Findings)