深度双向语言-知识图谱预训练
计算与语言
2022-10-20 v2 人工智能
机器学习
摘要
在文本上预训练语言模型 (LM) 已被证明有助于各种下游 NLP 任务。近期工作表明知识图谱 (KG) 可以补充文本数据，提供结构化的背景知识，为推理提供有用支架。然而，这些工作并未预训练以在大规模上学习两种模态的深度融合，限制了获取文本与 KG 完全联合表示的潜力。在此我们提出 DRAGON（深度双向语言-知识图谱预训练，Deep Bidirectional Language-Knowledge Graph Pretraining），一种自监督方法，用于从文本和 KG 大规模预训练深度联合的语言-知识基础模型。具体而言，我们的模型以文本片段与相关 KG 子图对作为输入，并双向融合来自两种模态的信息。我们通过统一两个自监督推理任务——掩码语言建模与 KG 链路预测——来预训练该模型。DRAGON 在包括通用与生物医学领域问答在内的多种下游任务上优于现有 LM 与 LM+KG 模型，平均绝对提升 +5%。特别地，DRAGON 在关于语言与知识的复杂推理（+10% 涉及长上下文或多步推理的问题）和低资源 QA（OBQA 与 RiddleSense 上 +8%）上取得显著性能，并在各项 BioNLP 任务上创下新的最优结果。我们的代码与训练模型可在 https://github.com/michiyasunaga/dragon 获取。
引用
@article{arxiv.2210.09338,
title = {Deep Bidirectional Language-Knowledge Graph Pretraining},
author = {Michihiro Yasunaga and Antoine Bosselut and Hongyu Ren and Xikun Zhang and Christopher D Manning and Percy Liang and Jure Leskovec},
journal= {arXiv preprint arXiv:2210.09338},
year = {2022}
}
备注
Published at NeurIPS 2022. Code, data, and trained models are available at https://github.com/michiyasunaga/dragon