KELM：基于分层关系图消息传递的知识增强预训练语言表示
计算与语言
2022-05-06 v2 人工智能
摘要
将事实知识融入 BERT 等预训练语言模型（PLM）是近期 NLP 研究中的一个新兴趋势。然而，现有多数方法将外部知识集成模块与修改后的预训练损失相结合，并在大规模语料上重新实现预训练过程。重新预训练这些模型通常耗费资源，且难以适配具有不同知识图谱（KG）的其他领域。此外，这些工作要么无法根据文本上下文动态嵌入知识上下文，要么受困于知识歧义问题。本文提出一种基于微调过程的新型知识感知语言模型框架，其为 PLM 配备一个统一的知识增强文本图，该图包含从 KG 提取的文本与多关系子图。我们设计了一种基于分层关系图的消息传递机制，可使注入的 KG 与文本的表示相互更新，并能动态选择共享同一文本的歧义提及实体。我们的实证结果表明，我们的模型能高效地将 KG 中的世界知识融入 BERT 等现有语言模型，并在机器阅读理解（MRC）任务上相较其他知识增强模型取得显著提升。
引用
@article{arxiv.2109.04223,
title = {KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs},
author = {Yinquan Lu and Haonan Lu and Guirong Fu and Qun Liu},
journal= {arXiv preprint arXiv:2109.04223},
year = {2022}
}
备注
ICLR 2022 on DLG4NLP