通过多态性与同义替换向生物医学预训练模型注入知识
计算与语言
2023-05-25 v1
摘要
预训练语言模型（PLMs）被认为能够存储训练数据中存在的关联知识。然而，由于\textbf{报道偏差}：低频关联知识在PLMs中的表达可能少于高频知识，部分关联知识似乎被不安全地丢弃。这提示我们，关联知识对PLMs的已存储知识或许并非冗余，而是互补的。为向PLMs额外注入关联知识，我们受三点观察（即多态性、同义替换与关联性）启发，提出一种简单而有效的关联知识注入方法。具体而言，我们将训练语料中的实体替换为相关实体（上位词/下位词/同义词，或任意关联概念）。实验结果表明，所提方法不仅能更好地捕获关联知识，还可提升多种生物医学下游任务性能。我们的模型发布于\url{https://github.com/StevenZHB/BioPLM_InjectingKnowledge}。
引用
@article{arxiv.2305.15010,
title = {Injecting Knowledge into Biomedical Pre-trained Models via Polymorphism and Synonymous Substitution},
author = {Hongbo Zhang and Xiang Wan and Benyou Wang},
journal= {arXiv preprint arXiv:2305.15010},
year = {2023}
}