曲率对齐探针用于局部损失景观稳定化

在样本增长过程中，局部损失景观的稳定化通常通过点测量或在整个参数空间中的各向同性平均来衡量。尽管具有实际价值，但这两种选择都探针方向，这些方向对强各向异性神经网络景观的主导局部变形贡献很小。我们将稳定化问题重新表述为观测问题，引入一个以聚合阶数和探针分布为参数化的统一准则家族；在此家族中，我们提出了曲率对齐准则 $\Delta_2^{(D)}$，其在训练解附近的经验 Hessian 前 $D$ 主特征空间中探测损失增量场。仅凭局部二次模型，我们证明了 $\Delta_2^{(D)}$ 保留了全空间准则的 $O(k^{-2})$ 均方速率，同时将环境维度曲率依赖替换为子空间维度 $D$ 的依赖；一个推论给出闭式谱表达式，一个命题指出前 $D$ 特征空间是在特征空间对齐族中的极端值。我们还基于 Hessian 向量积、子空间蒙特卡罗和闭式高斯矩代理推导了可扩展的估计器。在一个仅解码器的变压器模型上，占参数空间极小比例的曲率对齐探针即可在验证的局部范畴内重现全空间均方信号，误差在数值噪声水平内；而且，构建子空间后的闭式估计器比直接蒙特卡罗快一个数量级。