在平均 SGD 中的在线协方差估计：通过轨迹回归实现改进的批量均值速率和最小混界最优性

我们研究了针对Polyak-Ruppert平均随机梯度下降（SGD）的在线协方差矩阵估计。Zhu、Chen 和 Wu（2023）提出的在线批量均值估计器实现了算子范数收敛速率为 $O(n^{-(1-\alpha)/4})$，在最优学习率指数 $\alpha \rightarrow 1/2^+$ 时，得到 $O(n^{-1/8})$。我们对每个块的偏差进行严格分析，发现重新调整块增长参数可将批量均值速率提升至 $O(n^{-(1-\alpha)/3})$，实现 $O(n^{-1/6})$。该修改估计器无需 Hessian 访问，保持 $O(d^2)$ 的内存。我们对误差进行了完整的分解，包括方差、平稳性偏差和非线性偏差三个组成部分。还讨论了避免硬截断的加权平均变体。我们建立了 Hessian-free 协方差估计的最小混界速率 $\Theta(n^{-(1-\alpha)/2})$：Le Cam 下界给出 $\Omega(n^{-(1-\alpha)/2})$，而基于轨迹回归的估计器——即通过对 SGD 增量对迭代值进行回归来估计 Hessian——实现 $O(n^{-(1-\alpha)/2})$，与下界相匹配。该构造揭示了关于从 SGD 漂移中累积关于 Hessian 信息的亚线性瓶颈。