将知识图谱嵌入作为附加模态以解决语言模型中的幻觉问题
计算与语言
2025-01-15 v2 人工智能
摘要
在本文中，我们提出了一种通过将知识图谱（KGs）作为附加模态来减少大型语言模型（LLMs）幻觉的方法。我们的方法包括将输入文本转换为一组KG嵌入，并使用适配器将这些嵌入集成到语言模型空间中，而无需依赖外部检索过程。为此，我们创建了WikiEntities，这是一个包含超过300万条维基百科文本的数据集，这些文本标注了来自Wikidata的实体及其来自PyTorch-BigGraph的对应嵌入。该数据集是训练实体链接模型以及使用专用适配器将所述方法适配到各种LLMs的宝贵资源。我们的方法不需要对语言模型本身进行微调；相反，我们只训练适配器。这确保了模型在其他任务上的性能不受影响。我们使用该数据集为Mistral 7B、LLaMA 2-7B (chat)和LLaMA 3-8B (instruct)模型训练了适配器，并证明了我们的方法在HaluEval、True-False基准测试和FEVER数据集上提升了性能。结果表明，将KGs作为一种新模态纳入可以有效减少幻觉并提高语言模型的事实准确性，且所有这些均无需外部检索。
引用
@article{arxiv.2411.11531,
title = {Addressing Hallucinations in Language Models with Knowledge Graph Embeddings as an Additional Modality},
author = {Viktoriia Chekalina and Anton Razzhigaev and Elizaveta Goncharova and Andrey Kuznetsov},
journal= {arXiv preprint arXiv:2411.11531},
year = {2025}
}