Adam 型动力学连续时间随机模型的 Fokker-Planck 分析与不变测度

我们为自适应随机优化的长期动力学开发了一个连续时间模型，聚焦于偏差校正的 Adam 型方法。从有限和设置出发，我们识别出学习率、衰减参数和梯度噪声的规范缩放，从而得到参数 $x_t$、一阶矩追踪器 $z_t$ 和二阶矩追踪器 $y_t$ 的耦合、时齐次随机微分方程。偏差校正通过显式的时间依赖系数持续存在，且动力学渐近时齐次。我们分析了相应的 Fokker-Planck 方程，并在对 $f$ 施加温和的正则性和耗散性假设下，证明了不变测度的存在性和唯一性。噪声传播由 $A(x)=\mathrm{Diag}(\nabla f(x))H_f(x)$ 支配。$A$ 的定义域 $\mathcal D_A\times\mathbb R^m\times(\mathbb R_+)^m$ 上可能失效双椭圆性，其中 $\mathcal D_A=\{x\in\mathbb R^m:\exists j,\ e_j^\top A(x)=0\}\subset\{x:\det A(x)=0\}=\mathcal D_A^\dagger$，且 $f$ 的临界点位于 $\mathcal D_A$ 中。我们证明 $\mathcal D_A^\dagger\neq\mathbb R^m$，并利用此证明马尔可夫半群 $\mu_0P_t$ 到唯一不变测度的指数收敛，一致于 $\mu_0$。证明使用了 Harris 型论证、Lyapunov 下水平集上的小化、构造和控制，以及在 $(\mathbb R^m\setminus\mathcal D_A)\times\mathbb R^m\times(\mathbb R_+)^m$ 上的双椭圆性。这为 Adam 型动力学提供了一个透明的连续时间视角。