为 SGD 设计预条件器：局部条件化、噪声底层与流域稳定性

随机梯度下降（SGD）在训练后期常因各向异性曲率和梯度噪声而减缓。我们分析了由对称正定矩阵 $\mathbf{M}$ 激活的预条件化 SGD，在该几何结构下推导了收敛速率和随机噪声底层均由 $\mathbf{M}$ 依赖量控制的下界：通过 $\mathbf{M}$ 度量下的有效条件数控制收敛速率，通过该条件数与预条件化噪声水平乘积控制噪声底层。对于非凸目标，我们建立了预条件器依赖的流域稳定性保证：当光滑性和流域大小以 $\mathbf{M}$ 范数度量时，迭代序列保持在良好局部区域的概率 admits 明确的下界。这一视角在科学机器学习（SciML）中尤为重要，在此场景下，在随机更新下实现小训练损失与物理保真度、数值稳定性和约束满足紧密相关。该框架适用于对角/自适应和曲率感知预条件器，并提出简单设计原则：选择 $\mathbf{M}$ 以改善局部条件化同时抑制噪声。在一个二次诊断问题和三个 SciML 基准实验中验证了预测的速率-底层行为。