梯度下降算法在时间与逆温度上的均匀泛化界及其在模拟退火分析中的应用

本文针对非凸设定下的随机梯度朗之万动力学（SGLD），提出了一种关于时间与逆温度的新型均匀泛化界。先前工作通过一致稳定性推导泛化界，而我们使用 Rademacher 复杂度使泛化界独立于时间与逆温度。借助 Rademacher 复杂度，我们可将整个空间上的泛化界推导问题化简为有界区域上的问题，从而从泛化界中去除时间与逆温度的影响。作为泛化界的应用，我们还给出了非凸设定下模拟退火有效性的评估。对于样本量 $n$ 与时间 $s$，我们分别推导出阶为 $\sqrt{n^{-1} \log (n+1)}$ 与 $|(\log)^4(s)|^{-1}$ 的评估。此处 $(\log)^4$ 表示对数函数复合 $4$ 次。