Mixture-of-Partitions：将大型生物医学知识图谱注入 BERT
计算与语言
2021-09-13 v1
摘要
将事实知识注入预训练模型对于许多知识密集型任务是基础性的。在本文中，我们提出了 Mixture-of-Partitions (MoP)，这是一种注入方法，通过将非常大的知识图谱（KG）划分为较小的子图，并使用轻量级适配器将其特定知识注入到各种 BERT 模型中。为了利用目标任务的总体事实知识，这些子图适配器通过混合层与底层 BERT 一起进一步微调。我们在六个下游任务（包括 NLI、QA、分类）上使用三个生物医学 BERT（SciBERT、BioBERT、PubmedBERT）评估了我们的 MoP，结果表明我们的 MoP 持续增强了底层 BERT 的任务性能，并在五个评估数据集上取得了新的 SOTA 性能。
引用
@article{arxiv.2109.04810,
title = {Mixture-of-Partitions: Infusing Large Biomedical Knowledge Graphs into BERT},
author = {Zaiqiao Meng and Fangyu Liu and Thomas Hikaru Clark and Ehsan Shareghi and Nigel Collier},
journal= {arXiv preprint arXiv:2109.04810},
year = {2021}
}
备注
EMNLP 2021 camera-ready version