DKPLM：用于自然语言理解的可分解知识增强预训练语言模型
计算与语言
2022-10-18 v2
摘要
知识增强预训练语言模型（KEPLM）是在预训练模型中注入来自知识图谱的关系三元组以提升语言理解能力的模型。为保证知识注入的有效性，以往研究将模型与知识编码器相集成，以表示从知识图谱中检索到的知识。知识检索与编码操作带来了显著的计算负担，限制了此类模型在对推理速度有要求的真实应用场景中的使用。本文提出一种名为 DKPLM 的新型 KEPLM，其在预训练、微调与推理阶段对预训练语言模型的知识注入过程进行分解，从而便于 KEPLM 在真实场景中的应用。具体而言，我们首先检测知识感知的长尾实体作为知识注入目标，以增强 KEPLM 的语义理解能力并避免注入冗余信息。长尾实体的嵌入被由相关知识三元组构成的“伪标记表示”所替换。我们进一步设计了关系知识解码预训练任务，通过关系三元组重构迫使模型真正理解所注入的知识。实验表明，在零样本知识探测任务和多个知识感知语言理解任务上，我们的模型显著优于其他 KEPLM。我们进一步表明，得益于分解机制，DKPLM 具有比其他竞争模型更高的推理速度。
引用
@article{arxiv.2112.01047,
title = {DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding},
author = {Taolin Zhang and Chengyu Wang and Nan Hu and Minghui Qiu and Chengguang Tang and Xiaofeng He and Jun Huang},
journal= {arXiv preprint arXiv:2112.01047},
year = {2022}
}
备注
Accepted by AAAI22