面向检索增强生成系统的情景感知文档记忆混合模型
计算与语言
2025-10-17 v1
摘要
传统的 RAG 范式通常仅针对接收查询时相关文本块的理解，本质上限制了知识内化和推理能力的深度。为解决这一限制，我们将 RAG 中的文本处理从被动分块转变为主动理解，定义此过程为模拟人类阅读过程中的文档记忆提取。构建于此之上，我们提出了情景感知文档记忆混合模型（MoM）框架，旨在高效处理来自多个领域的文档，并训练小型语言模型（SLM）以获得主动探索和构建文档记忆的能力。MoM 初始指令大型语言模型（LLM）模拟领域专家生成文档逻辑大纲，从而指导结构化分块和核心内容提取。它采用多路径抽样和多视角评估机制，专门设计综合性指标来表示块的清晰度和提取完整性，以选择最佳文档记忆。此外，为在 SLM 训练期间注入更深层的人类式阅读能力，我们包含一种逆向推理策略，该策略从高质量结果中推断出细化的专家思考路径。最后，利用 MoM 生成的多样化内容形式，我们开发了一个三层文档记忆检索机制，该机制基于概率建模视角下的理论证明。广泛的在三个不同领域上的实验结果表明，MoM 框架不仅解决了现有 RAG 系统中的文本分块挑战，为 LLM 提供了语义完整的文档记忆，而且为 SLM 实现人类导向的智能文本处理之路。
引用
@article{arxiv.2510.14252,
title = {MoM: Mixtures of Scenario-Aware Document Memories for Retrieval-Augmented Generation Systems},
author = {Jihao Zhao and Zhiyuan Ji and Simin Niu and Hanyu Wang and Feiyu Xiong and Zhiyu Li},
journal= {arXiv preprint arXiv:2510.14252},
year = {2025}
}