在线学习中 ROOT-SGD 算法的协方差估计器

在线学习自然出现在许多统计和机器学习问题中。在线学习中最广泛使用的方法是随机一阶算法。在这类算法中,最近开发了一种算法:递归单步过 T 随机梯度下降(ROOT-SGD)。ROOT-SGD 的优势在于它以非渐近的快速速率收敛,且其估计量进一步收敛到正态分布。然而,该正态分布具有未知渐近协方差,因此无法直接用于度量不确定性。为填补这一空白,我们为 ROOT-SGD 的渐近协方差开发了两种估计器。我们的协方差估计器可用于 ROOT-SGD 中的统计推断。我们的第一个估计器采用插件法思想。对于渐近协方差公式中的每个未知分量,我们用其经验对应量替代。插件估计器以 $\mathcal{O}(1/\sqrt{t})$ 的速率收敛,其中 $t$ 为样本量。尽管收敛迅速,插件估计器存在依赖损失函数 Hessian 的局限,这在某些情况下可能不可用。我们的第二个估计器是一种无 Hessian 估计器,克服了上述局限。无 Hessian 估计器使用随机缩放技术,我们证明它是真实协方差的渐近一致估计器。