通过知识图谱-大语言模型对齐实现高效知识注入
计算与语言
2024-06-07 v1 人工智能
摘要
为了解决大型语言模型(LLM)中领域特定知识稀缺的问题，知识图谱检索增强方法已被证明是一种有效且高效的知识注入技术。然而，现有方法面临两个主要挑战：公开可用的知识图谱与当前任务特定领域之间的知识不匹配，以及LLM对知识图谱的信息遵从性差。在本文中，我们利用少量标注样本和大规模语料库，通过LLM高效地构建领域特定的知识图谱，解决了知识不匹配的问题。此外，我们提出了一种三阶段的KG-LLM对齐策略，以增强LLM利用知识图谱信息的能力。我们在两个生物医学问答数据集上进行了有限样本设置下的实验，结果表明我们的方法优于现有基线。
引用
@article{arxiv.2406.03746,
title = {Efficient Knowledge Infusion via KG-LLM Alignment},
author = {Zhouyu Jiang and Ling Zhong and Mengshu Sun and Jun Xu and Rui Sun and Hui Cai and Shuhan Luo and Zhiqiang Zhang},
journal= {arXiv preprint arXiv:2406.03746},
year = {2024}
}
备注
ACL2024 Findings