巩固-扩展算子力学：自适应学习的统一框架

每个自适应学习系统都必须在两种操作之间交替：巩固已有知识和扩展至新证据。我们提出了巩固-扩展算子力学（OpMech），一个使该结构精确化的框架。核心对象是顺序间隙 $\Ogap(\theta; e)$，即在给定知识状态下，巩固算子 $Q$ 和扩展算子 $P_e$ 无法交换的程度。由于顺序间隙可以从系统自身的轨迹中计算得出，它可作为实时控制信号：较大的值表明系统对巩固和扩展的顺序仍然敏感；一旦顺序间隙下降并保持较小，进一步处理不太可能改变结果。三个结果赋予了该信号精确含义：顺序间隙沿收敛轨迹衰减；持续较大的顺序间隙意味着系统远离其稳定状态；基于顺序间隙的停止规则在无噪声和有界噪声设置中均具有可证明的保证而终止。该框架适用于五个领域：多臂老虎机、强化学习、随机优化、持续学习和递归语言模型。我们给出了在三个代表性案例中顺序间隙可靠跟踪收敛的条件。我们详细开发了递归语言模型应用，展示了 OpMech 如何用有原则的、证据驱动的替代方案取代启发式停止规则和固定递归预算。