情境画册:面向大语言模型系统的上下文空间结构化治理
人工智能
2026-03-24 v1
摘要
提高大语言模型(LLM)推理的主流方法是扩大上下文窗口,隐含假设更多的 token 能提升性能。然而,实证证据——包括“失踪中央”效应和长距离关系退化——表明,上下文空间在 Transformer 架构下呈现结构性梯度、显著性不对称以及熵积累。我们提出情境画册(Context Cartography),一个用于 deliberate 治理上下文空间的正式框架。我们定义三分法区域模型,将信息宇宙划分为不可见区域(black fog,未观测)、灰雾区域(gray fog,存储记忆)和可见场(visible field,主动推理表面),并形式化七种图绘算子——侦察、选择、简化、聚合、投影、位移和层叠——作为支配区域之间及区域内信息转换的变换。这些算子源自对所有非平凡区域转换的系统覆盖分析,按变换类型(算子功能)和区域范围(适用范围)进行组织。我们基于 Transformer 注意力的显著性几何,对该框架进行理论 grounding,将图绘算子视为对线性前缀记忆、仅追加状态以及在扩大上下文下熵积累的必要补偿。对四个当代系统(Claude Code、Letta、MemOS 和 OpenViking)的分析提供了解读证据,表明这些算子在行业内独立收敛。我们从框架中导出可测试的预测——包括算子特定的消失假设——并提出用于经验验证的诊断基准。
引用
@article{arxiv.2603.20578,
title = {Context Cartography: Toward Structured Governance of Contextual Space in Large Language Model Systems},
author = {Zihua Wu and Georg Gartner},
journal= {arXiv preprint arXiv:2603.20578},
year = {2026}
}
备注
31 pages, 2 figures