小协方差噪声到状态稳定性及其于随机梯度动力学的应用
系统与控制
2025-09-30 v1 系统与控制
摘要
本文研究受加性随机噪声影响的梯度动力学，这类噪声可能源于随机梯度估计、测量噪声或随机采样误差。为了分析此类随机梯度系统的鲁棒性，本文引入了小协方差噪声到状态稳定性(NSS)的概念，并给出了基于Lyapunov的表征。此外，推广了经典的Polyak-Lojasiewicz(PL)条件于目标函数，通过比较函数实现-PL条件，从而扩展了其适用范围以涵盖更广泛的优化问题。证明表明，若目标函数满足-PL条件且具有全局Lipschitz连续梯度，则随机梯度动力学 exhibits小协方差NSS。该结果意味着随机梯度动力学的轨迹以高概率收敛于最优点的邻域，邻域大小由噪声协方差决定。此外，若-PL条件强化为-PL条件，则动力学为NSS；而若其弱化为一般正定-PL条件，则动力学 exhibits积分NSS。结果进一步通过适当的步长调节扩展至梯度不全局Lipschitz的目标。本文提出的框架进一步应用于线性二次调节器(LQR)和逻辑回归的鲁棒性分析。
引用
@article{arxiv.2509.24277,
title = {Small-Covariance Noise-to-State Stability of Stochastic Systems and Its Applications to Stochastic Gradient Dynamics},
author = {Leilei Cui and Zhong-Ping Jiang and Eduardo D. Sontag},
journal= {arXiv preprint arXiv:2509.24277},
year = {2025}
}
备注
25 pages, 1 figure