面向位置不变RAG的并行键值缓存融合
人工智能
2025-01-24 v2 计算与语言
摘要
大型语言模型（LLM）的近期进展凸显了检索增强生成（RAG）以利用外部信息的必要性。然而，LLM对相关信息在上下文中的位置敏感，当该信息位于中间时，倾向于生成错误响应，称为“Lost in the Middle”现象。本文引入一个框架，生成一致的输出，无论输入上下文顺序如何。针对三个开放域问答任务的实验结果表明，实现位置不变性，模型对输入上下文顺序不敏感，并且对无关段落的鲁棒性优于当前RAG管道的主流方法。
引用
@article{arxiv.2501.07523,
title = {Parallel Key-Value Cache Fusion for Position Invariant RAG},
author = {Philhoon Oh and Jinwoo Shin and James Thorne},
journal= {arXiv preprint arXiv:2501.07523},
year = {2025}
}
备注
5 pages