带乘性噪声的 Langevin-模拟退火算法的收敛性

我们研究带乘性噪声的 Langevin-模拟退火型算法的收敛性，即对 $V : \mathbb{R}^d \to \mathbb{R}$ 为待最小化势函数，考虑随机方程 $dY_t = - \sigma \sigma^\top \nabla V(Y_t) dt + a(t)\sigma(Y_t)dW_t + a(t)^2\Upsilon(Y_t)dt$，其中 $(W_t)$ 为布朗运动，$\sigma : \mathbb{R}^d \to \mathcal{M}_d(\mathbb{R})$ 为自适应（乘性）噪声，$a : \mathbb{R}^+ \to \mathbb{R}^+$ 为递减至 $0$ 的函数，$\Upsilon$ 为修正项。该设定可应用于机器学习中的优化问题。$\sigma$ 为常数矩阵的情形已被广泛研究，但一般情形鲜受关注。我们证明了 $Y_t$ 及其关联 Euler 格式 $\bar{Y}_t$ 在 $L^1$-Wasserstein 距离下收敛至某支撑于 $\text{argmin}(V)$ 的测度 $\nu^\star$，并给出到瞬时 Gibbs 测度 $\nu_{a(t)}$（其密度 $\propto \exp(-2V(x)/a(t)^2)$）的收敛速率。为此，我们首先考虑 $a$ 为分段常数函数的情形，再次得到经典调度 $a(t) = A\log^{-1/2}(t)$。随后，通过利用遍历性性质给出到分段常数情形的 Wasserstein 距离界，我们证明了一般情形的收敛性。