SkewRoute：基于检索上下文分数偏度的知识图谱检索增强生成免训练 LLM 路由
信息检索
2025-10-14 v2 计算与语言
摘要
大语言模型在许多任务中表现出色，但在部署期间通常会产生高昂的推理成本。为了缓解幻觉，许多系统使用知识图谱来增强检索增强生成（KG-RAG）。然而，大量检索到的知识上下文进一步增加了这些推理成本。平衡性能与成本的一个有前景的解决方案是 LLM 路由，它将简单的查询定向到较小的 LLM，将复杂的查询定向到较大的 LLM。然而，目前没有专门针对 RAG 的路由方法，而现有的基于训练的路由器由于需要大量训练数据，在扩展到该领域时面临挑战。我们观察到，检索评分器产生的分数分布与查询难度高度相关。基于此，我们提出了一个极其简单但有效的路由框架，这是第一个专门为 KG-RAG 设计的框架，它以即插即用的方式高效地平衡了性能和成本。与现有方法相比，它提供了 3 倍以上的路由有效性，同时将运行时间减少到不到 0.001 倍。我们的代码可在 https://github.com/hrwang00/SkewRoute 获取。
引用
@article{arxiv.2505.23841,
title = {SkewRoute: Training-Free LLM Routing for Knowledge Graph Retrieval-Augmented Generation via Score Skewness of Retrieved Context},
author = {Hairu Wang and Yuan Feng and Yukun Cao and Xike Xie and S Kevin Zhou},
journal= {arXiv preprint arXiv:2505.23841},
year = {2025}
}