Mindful-RAG: 检索增强生成中的失败点研究
信息检索
2024-10-08 v2
摘要
大型语言模型（LLMs）在生成连贯且上下文相关的文本方面表现出色，但在处理知识密集型查询、特定领域和事实性问答任务时面临挑战。检索增强生成（RAG）系统通过整合外部知识源（如结构化知识图谱 KGs）来缓解这一问题。然而，尽管 LLMs 可访问包含必要事实的 KG 提取信息，仍难以产生准确答案。我们的研究通过分析现有基于 KG 的 RAG 方法中的错误模式，识别出八个关键性失败点。我们观察到，这些错误主要源于 insufficiently（不足够）关注问题意图，以及从知识图谱事实中充分获取相关上下文。基于此分析，我们提出了 Mindful-RAG 方法，即一种面向意图导向和上下文对齐知识检索的框架。该方法显式针对上述失败点提供改进，显著提升 LLMs 提供的响应的正确性和相关性，为现有方法带来了重要进展。
引用
@article{arxiv.2407.12216,
title = {Mindful-RAG: A Study of Points of Failure in Retrieval Augmented Generation},
author = {Garima Agrawal and Tharindu Kumarage and Zeyad Alghamdi and Huan Liu},
journal= {arXiv preprint arXiv:2407.12216},
year = {2024}
}