CASCADE：大型语言模型部署期间基于案例的持续适应
人工智能
2026-05-11 v1 计算与语言
机器学习
摘要
大型语言模型（LLM）已成为现代人工智能的核心基础，然而其生命周期仍受限于训练与部署之间的严格分离，在此之后学习实际上即告停止。这一限制与自然智能形成对比，后者通过与环境的交互不断适应。在本文中，我们将部署时学习形式化为 LLM 生命周期的第三阶段，使 LLM 智能体能够在部署期间从经验中改进而无需修改模型参数。我们提出了 CASCADE（部署期间基于案例的持续适应），一个通用且有原则的框架，为 LLM 智能体配备了显式且不断演化的情景记忆。CASCADE 将经验重用形式化为上下文赌博机问题，实现了有原则的探索-利用权衡，并在长期交互中建立了无悔保证。该设计允许智能体积累、选择和精炼与任务相关的案例，将过往经验转化为可操作的知识。在涵盖医疗诊断、法律分析、代码生成、网络搜索、工具使用和具身交互的 16 项多样任务中，CASCADE 相比零样本提示将宏平均成功率提升了 20.9%，同时持续优于基于梯度和基于记忆的基线。通过将部署重新构建为自适应学习过程，这项工作为持续改进的 AI 系统奠定了基础。
引用
@article{arxiv.2605.06702,
title = {CASCADE: Case-Based Continual Adaptation for Large Language Models During Deployment},
author = {Siyuan Guo and Yali Du and Hechang Chen and Yi Chang and Jun Wang},
journal= {arXiv preprint arXiv:2605.06702},
year = {2026}
}