对齐知识图谱与语言模型以实现事实准确性
计算与语言
2025-07-21 v1 人工智能
摘要
像GPT-4、Gemini和Claude这样的大型语言模型已经改变了自然语言处理（NLP）任务，如问答、对话生成、摘要等；然而，它们容易产生幻觉是主要挑战之一。在克服这一挑战的众多方法中，将知识图谱（KG）整合到语言模型中已成为一种有前景的解决方案，因为它为语言模型提供了结构化、可靠、领域特定且最新的外部信息。在本文中，我们介绍了ALIGNed-LLM，一种简单而有效的方法，通过一种精简的策略将KG注入语言模型的潜在空间，以提升语言模型的事实性，该方法受LLaVA（其中融合了视觉和文本信息）的启发。我们使用预训练的知识图谱嵌入（KGE）模型（如TransE）的嵌入和一个可训练的投影层来对齐实体和文本嵌入。这种对齐使语言模型能够区分相似实体，从而改善事实依据并减少幻觉。我们在三个流行的问答基准数据集上，结合不同规模的语言模型测试了我们的方法，显示出显著的改进。此外，我们将我们的方法应用于来自欧洲一家大型央行的真实世界金融用例，该用例要求高准确度和精确度，展示了LLM答案的实质性改进。
引用
@article{arxiv.2507.13411,
title = {Aligning Knowledge Graphs and Language Models for Factual Accuracy},
author = {Nur A Zarin Nishat and Andrea Coletta and Luigi Bellomarini and Kossi Amouzouvi and Jens Lehmann and Sahar Vahdati},
journal= {arXiv preprint arXiv:2507.13411},
year = {2025}
}