一种简单而有效的可插拔实体查找表用于预训练语言模型
计算与语言
2022-05-18 v3
摘要
预训练语言模型（PLMs）不能很好地回忆大规模语料中展现的实体丰富事实知识，尤其是那些稀有实体。本文提出按需构建一种简单而有效的可插拔实体查找表（PELT），通过聚合语料中多次出现的实体的输出表示来实现。PELT 可作为输入兼容地插入，将补充的实体知识注入 PLMs。与以往知识增强的 PLMs 相比，PELT 仅需 0.2%–5% 的预计算量，并具备从域外语料获取知识以用于领域自适应场景的能力。在知识相关任务上的实验表明，我们的方法 PELT 能灵活且有效地将实体知识从相关语料迁移到不同架构的 PLMs 中。
引用
@article{arxiv.2202.13392,
title = {A Simple but Effective Pluggable Entity Lookup Table for Pre-trained Language Models},
author = {Deming Ye and Yankai Lin and Peng Li and Maosong Sun and Zhiyuan Liu},
journal= {arXiv preprint arXiv:2202.13392},
year = {2022}
}
备注
Accepted to ACL 2022. The code and models are available at https://github.com/thunlp/PELT