带 Dropout 正则化的线性模型中随机梯度下降渐近分析

本文提出了一种用于线性回归中带 Dropout 正则化的随机梯度下降 (SGD) 迭代在线推断的渐近理论。具体而言，我们建立了常数步长 SGD Dropout 迭代的几何矩收缩 (GMC) 属性，以证明 Dropout 递归函数具有唯一的平稳分布。通过该 GMC 属性，我们提供了 Dropout 迭代与 $\ell^2$ 正则化迭代之间差异的抛物线中心极限定理 (CLT)，且无论初始化方式如何。此外，还给出了带 Dropout 的 Ruppert-Polyak 平均 SGD (ASGD) 迭代与 $\ell^2$ 正则化迭代之间差异的 CLT。基于这些渐近正态性结果，我们进一步引入了一个用于估计 ASGD Dropout 长期协方差矩阵的在线估计器，以在计算时间和内存效率方面便于递归推断。数值实验表明，对于足够大的样本量，本文提出的带 Dropout 的 ASGD 置信区间几乎达到了名义覆盖概率。