指令级权重塑形：自我改进 AI 智能体的框架

大型语言模型（LLM）虽然流畅，但在预训练后往往是静态的；新的或变化的知识通常通过检索增强生成（RAG）或微调来添加。RAG 增加了延迟和工程开销，常常难以整合事实；提示工程脆弱且可能与先前知识冲突；微调成本高昂且可能导致灾难性遗忘。我们提出指令级权重塑形（Instruction-Level Weight Shaping, ILWS）：精选的系统指令作为外部、可审计的伪参数，在每个会话后通过反思和用户反馈进行更新。反思引擎检查对话痕迹，诊断推理成功与失败，并提出针对指令、用户偏好和工具的类型化 delta $\Delta K=(\Delta S,\Delta U,\Delta T)$。Delta 被版本控制，借助 1-5 星评分的滑动窗口进行评估，首次失败时自动修复，反复失败时回滚。当编辑预算跨越阈值时，智能体会编译一个评分加权的合成数据集，并提炼成熟的指令空间收益以参数形式存储，将提示空间的改进转化为权重空间的改进，而无需停机。ILWS 使 transformer 块中由上下文引起的低秩塑形显式化，保留治理，消除每次调用的检索。在企业支持场景中，它将吞吐量提高 2.4-5.0 倍，将审计过 hallucinations 减少约 80%。在 Adobe Commerce Cloud 的一个概念证明“L0 Support”中，它实现了每小时处理 4-5 倍的工单，约 80% 的工单处理时间降低，实现了自主指令更新和可选工具合成。由于 ILWS 在受控蒸馍之前 operates at the instruction layer，能够适应需要自适应推理、工具创建和低延迟部署的动态领域（如法律、医疗、工程）。