HiGrad：面向在线学习与随机逼近的不确定性量化

随机梯度下降（SGD）在数据以流形式到达或数据规模非常大的在线学习场景中是一种极为流行的方法。然而，尽管关于 SGD 的研究层出不穷，人们对基于 SGD 的预测的统计推断性质却知之甚少。从完全的推断视角出发，本文引入了一种称为 HiGrad 的新程序，用于在线学习的统计推断，且与 SGD 相比不带来额外的计算成本。HiGrad 程序首先进行一段时间的 SGD 更新，然后将单线程拆分为若干线程，并以这种层级方式沿每条线程进行操作。在获得多线程给出的预测后，利用由 Ruppert–Polyak 平均方案的 Donsker 式推广给出的协方差结构对预测去相关，从而构造基于 $t$ 的置信区间，这是一项具有独立意义的技术贡献。在一定的正则条件下，HiGrad 置信区间被证明具有渐近精确的覆盖概率。最后，通过广泛的模拟研究和真实数据示例对 HiGrad 的性能进行了评估。已开发 R 包 \texttt{higrad} 来实现该方法。