超越注意力：通过球面核算子实现真正自适应的世界模型

世界模型人工智能的探索主要依赖于将高维观测投影到参数化潜在空间，然后在此基础上学习转移动力学。然而，这种传统范式在数学上存在缺陷：它仅将流形学习问题置于潜在空间中。当底层数据分布发生变化时，潜在流形也随之变化，迫使预测算子隐式地重新学习新的拓扑结构。此外，根据经典逼近论，诸如点积注意力等正算子不可避免地会受到饱和现象的影响，永久性地瓶颈其预测能力，同时暴露于维度灾变的威胁。本文通过重新定义核心预测机制，构建严谨的数学范式来实现世界模型。灵感来自Ryan O'Dowd的基础工作，我们引入球面核算子（SKO），取代标准注意力机制。通过将未知数据流形投射到统一的ambient球面上，并利用局部ultraspherical（Gegenbauer）多项式序列，SKO对目标函数进行直接积分重构。由于该局部球面多项式核函数不严格为正，故绕过了饱和现象，其逼近误差上界仅依赖于固有流形维数q，而非ambient维数。此外，通过将其未归一化输出形式化为正式的measure support估计器，SKO在数学上将真实环境转移动力学从代理观察频率中解耦。实证评估表明，SKO在自回归语言建模中显著加快收敛速度，并优于标准注意力基线。