MODE：面向 RAG 的文档专家混合模型
人工智能
2025-09-03 v1
摘要
检索增强生成（RAG）常依赖大型向量数据库和针对大规模语料库调优的交叉编码器，这对于小型、领域特定的集合而言可能过于繁重。我们提出 MODE（Mixture of Document Experts），一种轻量级替代方案，该方案将细粒度最近邻搜索替换为聚类路由检索。文档被嵌入、分组到语义连贯的聚类中，并由缓存的质心表示。查询时，我们路由到顶级质心（或质心），仅在这些聚类内部检索上下文，消除外部向量数据库和重排序的需求，同时保持延迟低。在 HotpotQA 和 SQuAD 语料库中进行 100-500 个块的实验后，MODE 在答案质量上匹配或超过密集检索基线，同时显著降低了端到端检索时间。消融实验表明，聚类粒度和多聚类路由控制召回/精确度的权衡，紧凑聚类有助于提高下游准确性。MODE 为在简单性、速度和主题聚焦方面都很重要的小型和中型语料库提供了实用方法。
引用
@article{arxiv.2509.00100,
title = {MODE: Mixture of Document Experts for RAG},
author = {Rahul Anand},
journal= {arXiv preprint arXiv:2509.00100},
year = {2025}
}