SGSH：利用骨架启发式方法刺激大语言模型进行知识库问答生成
计算与语言
2024-04-03 v1 人工智能
摘要
知识库问答生成（KBQG）旨在从从知识库中提取的三元组事实集合中生成自然语言问题。现有方法通过预训练语言模型（PLMs）显著提升了KBQG性能，得益于其丰富的语义知识。随着预训练技术的进步，大语言模型（LLM，如GPT-3.5）无疑拥有更多的语义知识。因此，如何有效地组织和利用这笔广阔的知识进行KBQG成为 our 研究的焦点。本文提出了SGSH——一种简单且有效的框架，用于通过骨架启发式方法刺激GPT-3.5以增强KBQG。该框架融合了“骨架启发式”方法，为每个输入提供更细粒度的指导，以刺激LLM生成最优问题，涵盖问题短语、辅助动词等关键要素。具体而言，我们构思一种基于ChatGPT构建骨架训练数据集的自动数据构建策略，据此我们采用软提示方法训练一个专为为每个输入生成骨架而设计的BART模型。随后，将骨架启发式编码到提示词中，以激励GPT-3.5生成期望的问题。大量实验表明，SGSH在KBQG任务上达到了新的状态最佳性能。
引用
@article{arxiv.2404.01923,
title = {SGSH: Stimulate Large Language Models with Skeleton Heuristics for Knowledge Base Question Generation},
author = {Shasha Guo and Lizi Liao and Jing Zhang and Yanling Wang and Cuiping Li and Hong Chen},
journal= {arXiv preprint arXiv:2404.01923},
year = {2024}
}
备注
Accepted by NAACL 2024 Findings