SKILL：面向大语言模型的结构化知识注入
计算与语言
2022-05-18 v1 人工智能
机器学习
摘要
大语言模型（LLMs）在广泛的自然语言任务上已展现出人类水平的性能。然而，它们能否更好地从结构化数据（如知识图谱）或文本中内化知识，在很大程度上尚未被探索。本文中，我们提出了一种将结构化知识注入大语言模型的方法，即直接在知识图谱（KGs）的事实三元组上训练 T5 模型。我们表明，使用我们的方法在 Wikidata KG 上预训练的模型在 FreebaseQA 和 WikiHop 以及 TriviaQA 和 NaturalQuestions 的 Wikidata 可回答子集上优于 T5 基线。在事实三元组上预训练的模型与在包含相同知识的自然语言句子上预训练的模型相比具有竞争力。在较小规模的 KG WikiMovies 上训练时，我们在 MetaQA 任务上观察到精确匹配分数相比 T5 基线有 3 倍的提升。所提出方法的一个优势在于，在整理训练数据时不需要知识图谱与文本语料库之间的对齐。这使得我们的方法在处理工业规模的知识图谱时特别有用。
引用
@article{arxiv.2205.08184,
title = {SKILL: Structured Knowledge Infusion for Large Language Models},
author = {Fedor Moiseev and Zhe Dong and Enrique Alfonseca and Martin Jaggi},
journal= {arXiv preprint arXiv:2205.08184},
year = {2022}
}
备注
NAACL 2022