小型语言模型的高效子图检索：多跳知识图谱问答
计算与语言
2024-10-10 v1
摘要
检索增强生成(RAG)广泛用于将外部非参数知识注入大型语言模型(LLMs)。近期研究表明，知识图谱(KGs)为LLMs包含有价值的外部知识。从KGs检索信息与从文档集合中提取信息不同。大多数现有方法直接检索相关子图，从而消除对传统语义解析方法需要的大量SPARQL标注。本文将子图检索任务建模为由小型语言模型处理的条件生成任务。具体而言，我们将子图标识符定义为一序列关系，每种关系作为特殊记号存储在语言模型中。我们的基座生成式子图检索模型仅包含2.2亿参数，即可在检索性能上与依赖70亿参数的SOTA模型保持竞争力，表明小型语言模型能够完成子图检索任务。此外，我们最大的30亿参数模型配合LLM阅读器，在WebQSP和CWQ基准测试上实现了新的SOTA性能。我们的模型和数据将在线发布：https://github.com/hwy9855/GSR。
引用
@article{arxiv.2410.06121,
title = {Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA},
author = {Wenyu Huang and Guancheng Zhou and Hongru Wang and Pavlos Vougiouklis and Mirella Lapata and Jeff Z. Pan},
journal= {arXiv preprint arXiv:2410.06121},
year = {2024}
}
备注
Accepted by EMNLP 2024 Findings