Sculptor：通过主动上下文管理赋予LLM认知主动性
计算与语言
2025-09-30 v2 人工智能
机器学习
摘要
大型语言模型（LLM）在处理长上下文时因积极干扰而出现显著性能下降，积极干扰指的是上下文中早期部分的无关信息干扰推理和记忆召回。虽然大多数研究专注于外部记忆系统来增强LLM的能力，但我们提出了一种补充方法：赋予LLM主动上下文管理（ACM）工具，以主动塑造其内部工作记忆。我们介绍了Sculptor框架，使LLM获得三类工具：（1）上下文分块；（2）摘要、隐藏和恢复；（3）精确搜索。我们的做法使LLM能够主动管理其注意力和工作记忆，类似于人类 selectively focus on relevant information while filtering out distractions。在多样化的长上下文基准测试中进行的实验评估表明，Sculptor即使没有特定训练也显著提高了性能，利用了LLM固有的工具调用和指令遵循能力。为进一步优化这些策略，我们引入了一种新颖的动态上下文感知强化学习（RL）方法，推进了训练一个主动修改自身对话历史的智能体。通过实现主动上下文管理，Sculptor不仅缓解了积极干扰，还为跨越多样化长上下文任务的更可靠推理提供了认知基础——突显了显式上下文控制策略，而不仅仅是更大的token窗口，是规模可靠性的关键。
引用
@article{arxiv.2508.04664,
title = {Sculptor: Empowering LLMs with Cognitive Agency via Active Context Management},
author = {Mo Li and L. H. Xu and Qitai Tan and Long Ma and Ting Cao and Yunxin Liu},
journal= {arXiv preprint arXiv:2508.04664},
year = {2025}
}
备注
Preprint. Work in progress