面向检索增强生成的并行上下文专家解码
人工智能
2026-01-14 v1 计算与语言
摘要
检索增强生成面临一种权衡：在长提示词中拼接文档可实现多文档推理，但会造成预填充瓶颈；而分别编码文档KV缓存虽能提升速度，却破坏了跨文档交互。我们提出了并行上下文专家解码，这是一种无训练框架，将证据聚合从注意力机制转移到解码阶段。Pced将检索到的文档视为孤立的“专家”，通过一种新颖的检索感知对比解码规则，将专家logits与模型先验进行加权，从而同步它们的预测。该方法无需构建跨文档的共享注意力机制，即可恢复跨文档推理能力。
引用
@article{arxiv.2601.08670,
title = {Parallel Context-of-Experts Decoding for Retrieval Augmented Generation},
author = {Giulio Corallo and Paolo Papotti},
journal= {arXiv preprint arXiv:2601.08670},
year = {2026}
}