通过平均随机梯度下降实现无偏最小二乘回归

我们考虑一个具有最优解$\theta^*$和Hessian矩阵H的在线最小二乘回归问题，并研究$\theta^*$的时间平均随机梯度下降估计量。对于$k\ge2$，我们提供了一个无偏的$\theta^*$估计量，它是时间平均估计量的修改版本，以期望阶数为k的时间步数运行，期望超额风险为O(1/k)。O符号中的常数取决于回归参数，并且是H的最小特征值的多对数函数。我们为时间平均估计量及其无偏版本提供了期望超额风险的有偏和无偏估计量，而无需知道H或$\theta^*$。我们描述了我们估计量的“平均启动”版本，其具有相似的性质。我们的方法基于随机化多级蒙特卡洛。我们的数值实验证实了我们的理论发现。