基于知识库引导预训练与同义词感知微调的生成式生物医学实体链接
计算与语言
2022-05-24 v3
摘要
实体处于生物医学自然语言理解的核心位置，而生物医学实体链接（EL）任务由于概念名称细粒度且多样而仍然具有挑战性。生成式方法在通用领域 EL 中以更少的内存使用取得了卓越性能，但需要昂贵的预训练。先前的生物医学 EL 方法利用了来自知识库（KB）的同义词，而将其注入生成式方法并非易事。在这项工作中，我们采用生成式方法对生物医学 EL 建模，并提议在其中注入同义词知识。我们提出 KB 引导的预训练，通过利用 KB 中的同义词和定义构造合成样本，并要求模型恢复概念名称。我们还提出同义词感知微调以选择用于训练的概念名称，并提出解码器提示和多同义词约束前缀树用于推理。我们的方法在多个生物医学 EL 任务上取得了最先进（SOTA）结果且无需候选选择，显示了所提预训练和微调策略的有效性。
引用
@article{arxiv.2204.05164,
title = {Generative Biomedical Entity Linking via Knowledge Base-Guided Pre-training and Synonyms-Aware Fine-tuning},
author = {Hongyi Yuan and Zheng Yuan and Sheng Yu},
journal= {arXiv preprint arXiv:2204.05164},
year = {2022}
}
备注
Accepted by NAACL 2022