通过鞅 CLT 的非渐近速率实现随机梯度下降的正态逼近
统计理论
2019-04-04 v1 最优化与控制
概率论
机器学习
统计理论
摘要
我们针对一类二次可微检验函数，给出了 Polyak-Ruppert 平均随机梯度下降（SGD）到正态随机向量的非渐近收敛速率。一个关键的中间步骤是证明非渐近鞅中心极限定理（CLT），即建立多元鞅差分序列到正态随机向量的收敛速率，这可能具有独立意义。我们利用 Stein 方法与 Lindeberg 论证相结合获得了多元鞅 CLT 的显式速率，随后将其与 [PJ92] 中提出的非渐近平均 SGD 分析结合使用。我们的结果对于用 SGD 进行参数估计的置信区间计算以及构造在非渐近意义上有效的 SGD 假设检验具有潜在的有趣意义。
引用
@article{arxiv.1904.02130,
title = {Normal Approximation for Stochastic Gradient Descent via Non-Asymptotic Rates of Martingale CLT},
author = {Andreas Anastasiou and Krishnakumar Balasubramanian and Murat A. Erdogdu},
journal= {arXiv preprint arXiv:1904.02130},
year = {2019}
}