基于知识图谱的大语言模型因果推理
机器学习
2024-10-16 v1
摘要
大语言模型（LLMs）通常通过检索语义相似信息或通过如链式思维等结构化提示增强推理能力来提升性能。尽管这两种策略都被认为至关重要，但目前尚不清楚哪种策略对模型性能影响更大，或者是否需要两者的结合。本文通过提出一种基于知识图谱（KG）的随机漫步推理方法来回答此问题，该方法利用因果关系。我们在基于KG的常识问答任务上进行实验。KG本身提供了相关信息，例如相关实体关键词，以及通过节点之间的连接提供的推理结构。实验结果表明，所提出的KG基于随机漫步推理方法提高了LLM的推理能力和性能。有趣的是，将基于KG的随机漫步推理方法整合到查询中以三个看似无关的句子，反而会提升LLM性能，这与常规观念相反。这些发现表明，将因果结构整合到提示中可以显著提升推理能力，为优化LLM性能中因果作用提供了新见解。
引用
@article{arxiv.2410.11587,
title = {Baseflow identification via explainable AI with Kolmogorov-Arnold networks},
author = {Chuyang Liu and Tirthankar Roy and Daniel M. Tartakovsky and Dipankar Dwivedi},
journal= {arXiv preprint arXiv:2410.11587},
year = {2024}
}