知识增强预训练模型综述
计算与语言
2023-10-31 v5 人工智能
摘要
预训练语言模型通过自监督学习在大规模文本语料上学习到信息丰富的词表示，在微调后于自然语言处理（NLP）领域取得了令人瞩目的性能。然而，这些模型鲁棒性差且缺乏可解释性。我们将注入了知识的预训练语言模型称为知识增强预训练语言模型（KEPLMs）。这些模型展现出深度理解与逻辑推理，并引入了可解释性。在本综述中，我们对 NLP 中的 KEPLMs 进行了全面概述。我们首先讨论预训练语言模型与知识表示学习的进展。然后我们从三个不同视角对现有 KEPLMs 进行系统分类。最后，我们勾勒出 KEPLMs 未来研究的一些潜在方向。
引用
@article{arxiv.2110.00269,
title = {A Survey of Knowledge Enhanced Pre-trained Models},
author = {Jian Yang and Xinyu Hu and Gang Xiao and Yulong Shen},
journal= {arXiv preprint arXiv:2110.00269},
year = {2023}
}
备注
32 pages, 15 figures