DictBERT：基于对比学习的词典释义知识增强语言模型预训练
计算与语言
2022-08-02 v1
摘要
尽管预训练语言模型（PLM）在各种自然语言处理（NLP）任务上取得了 SOTA 性能，但研究表明其在处理知识驱动任务时缺乏知识。尽管已有诸多将知识注入 PLM 的尝试，该问题仍未解决。为应对此挑战，我们提出 \textbf{DictBERT}，一种以比知识图谱（KG）更易获取的词典知识增强 PLM 的新方法。在预训练期间，我们提出两个新颖的预训练任务，通过对比学习将词典知识注入 PLM：\textit{词典条目预测}与\textit{条目释义判别}。在微调时，我们使用预训练的 DictBERT 作为插件知识库（KB），为输入序列中识别出的条目检索隐式知识，并通过一种新颖的额外跳注意力机制将检索到的知识融入输入以增强其表示。我们在多种知识驱动与语言理解任务上评估我们的方法，包括 NER、关系抽取、CommonsenseQA、OpenBookQA 与 GLUE。实验结果表明，我们的模型能显著改进典型 PLM：在 BERT-large 上分别获得 0.5%、2.9%、9.0%、7.1% 与 3.3% 的大幅提升，并且在 RoBERTa-large 上也有效。
引用
@article{arxiv.2208.00635,
title = {DictBERT: Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning},
author = {Qianglong Chen and Feng-Lin Li and Guohai Xu and Ming Yan and Ji Zhang and Yin Zhang},
journal= {arXiv preprint arXiv:2208.00635},
year = {2022}
}
备注
Accepted by IJCAI 2022