随机梯度下降与在线主成分分析的半群：性质与扩散逼近

我们研究了机器学习中两种重要算法的马尔可夫半群：随机梯度下降（SGD）与在线主成分分析（PCA）。我们考察了小跳跃对这些半群性质的影响。讨论了包括正则性保持、$L^{\infty}$ 收缩在内的性质。这些半群是概率演化半群的对偶，而后者是 $L^{1}$ 收缩且保正的。利用这些性质，我们证明了 $\mathbb{R}^d$ 中的（球面 $\mathbb{S}^{d-1}$ 上的）随机微分方程（SDEs）可用于弱逼近 SGD（在线 PCA）。这些 SDE 或可用于提供对这些算法行为的某些见解。