Sobolev 椭球中在线非参数回归的筛分随机梯度下降估计量
统计理论
2022-01-10 v2 统计方法学
统计理论
摘要
回归的目标是从含噪观测中恢复一个未知底层函数，该函数能最佳地将一组预测变量与结果联系起来。在非参数回归中，假定回归函数属于一个预先指定的无限维函数空间（假设空间）。在在线设定下，当观测以流的形式到达时，迭代更新估计量而非反复重拟合整个模型在计算上更可取。受非参数筛估计与随机逼近方法启发，我们针对假设空间为 Sobolev 椭球的情况提出了一种筛分随机梯度下降估计量（Sieve-SGD）。我们在一组简单直接的条件下设 Sieve-SGD 具有速率最优的均方误差（MSE）。所提估计量可以较低的计算（时间与空间）代价构建：我们还正式证明，在所有统计速率最优的估计量中，Sieve-SGD 几乎需要最小的内存使用量。
引用
@article{arxiv.2104.00846,
title = {A Sieve Stochastic Gradient Descent Estimator for Online Nonparametric Regression in Sobolev ellipsoids},
author = {Tianyu Zhang and Noah Simon},
journal= {arXiv preprint arXiv:2104.00846},
year = {2022}
}