KB-Plugin：一种使大语言模型能够在低资源知识库上诱导程序的即插即用框架
计算与语言
2024-02-05 v1
摘要
程序诱导 (Program induction, PI) 已成为利用知识库 (KBs) 辅助大语言模型 (LLMs) 回答复杂知识密集型问题的一种有前景的范式。然而，PI 通常依赖大量并行的问题 - 程序对来使 LLM 感知给定 KB 的模式 (schema)，因此对于缺乏标注数据的许多低资源 KB 而言具有挑战性。为此，我们提出了 KB-Plugin，这是一种使 LLM 能够在任何低资源 KB 上诱导程序的即插即用框架。首先，KB-Plugin 采用自监督学习将给定 KB 的详细模式信息编码到一个可插拔模块（即模式插件）中。其次，KB-Plugin 利用来自丰富资源 KB 的大量标注数据训练另一个可插拔模块（即 PI 插件），该模块可帮助 LLM 从任何 KB 的模式插件中提取与问题相关的模式信息，并利用这些信息在该 KB 上诱导程序。在五个异构 KBQA 数据集上的实验表明，与低资源 KB 的 SoTA PI 方法相比，KB-Plugin 在使用小 25 倍的主干 LLM 的情况下实现了更好或相当的性能，甚至接近监督方法的性能。我们的代码和数据可在 https://github.com/THU-KEG/KB-Plugin 获取。
引用
@article{arxiv.2402.01619,
title = {KB-Plugin: A Plug-and-play Framework for Large Language Models to Induce Programs over Low-resourced Knowledge Bases},
author = {Jiajie Zhang and Shulin Cao and Linmei Hu and Ling Feng and Lei Hou and Juanzi Li},
journal= {arXiv preprint arXiv:2402.01619},
year = {2024}
}