基于强化学习训练的 MemSearcher：让大语言模型进行推理、搜索与记忆管理
计算与语言
2026-05-11 v2 人工智能
摘要
基于大语言模型的搜索代理通常会将完整的交互历史拼接到上下文中，导致输入过长且噪声增加，进而增加计算成本和GPU内存开销。为此，我们提出了 MemSearcher 框架，在多轮交互期间维护紧凑记忆，仅保留与问题相关的信息，从而保持上下文长度在各轮间的稳定。训练 MemSearcher 具有挑战性，因为每个轨迹跨越多个时间步且在不同的大语言模型上下文中进行，使得每个时间步都成为独立的强化学习优化目标。我们引入多上下文 GRPO，通过传递轨迹级别的优势至所有时间步，实现端到端优化。实验表明，MemSearcher 在多个公开数据集上优于强历史拼接(ReAct风格)基准，同时在多轮交互中保持近乎恒定的token数。代码和模型将发布于 https://github.com/icip-cas/MemSearcher
引用
@article{arxiv.2511.02805,
title = {MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning},
author = {Qianhao Yuan and Jie Lou and Zichao Li and Jiawei Chen and Yaojie Lu and Hongyu Lin and Le Sun and Debing Zhang and Xianpei Han},
journal= {arXiv preprint arXiv:2511.02805},
year = {2026}
}
备注
Accepted to ACL 2026