HippoRAG：受神经生物学启发的用于大型语言模型的长期记忆
计算与语言
2025-01-15 v3 人工智能
摘要
为了在恶劣且不断变化的自然环境中生存，哺乳动物大脑进化出存储大量关于世界的知识并持续整合新信息同时避免灾难性遗忘的能力。尽管取得了令人瞩目的成就，大型语言模型（LLMs），即使使用检索增强生成（RAG），在预训练后仍难以高效且有效地整合大量新经验。在这项工作中，我们介绍了HippoRAG，一种受人类长期记忆的海马体索引理论启发的新型检索框架，以实现对新经验的更深层、更高效的知识整合。HippoRAG协同编排LLMs、知识图谱和个性化PageRank算法，以模拟人类记忆中新皮层和海马体的不同角色。我们将HippoRAG与现有的RAG方法在多跳问答上进行比较，表明我们的方法显著优于最先进的方法，最高可达20%。使用HippoRAG的单步检索达到与IRCoT等迭代检索相当或更好的性能，同时成本降低10-30倍，速度快6-13倍，将HippoRAG集成到IRCoT中可带来进一步的显著收益。最后，我们表明我们的方法可以处理现有方法无法触及的新类型场景。代码和数据可在 https://github.com/OSU-NLP-Group/HippoRAG 获取。
引用
@article{arxiv.2405.14831,
title = {HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models},
author = {Bernal Jiménez Gutiérrez and Yiheng Shu and Yu Gu and Michihiro Yasunaga and Yu Su},
journal= {arXiv preprint arXiv:2405.14831},
year = {2025}
}
备注
NeurIPS 2024. Code and data: https://github.com/OSU-NLP-Group/HippoRAG