稀疏加速指数加权算法

我们考虑一个随机优化问题，其中通过递归观测梯度来最小化一个凸函数。我们引入了SAEW，这是一种新方法，它将具有慢速率$1/\sqrt{T}$的指数加权过程加速为达到快速率$1/T$的过程。在风险函数强凸的条件下，我们实现了逼近$\mathbb{R}^d$中稀疏参数的最优收敛速率。该加速是通过以在线方式使用连续平均步骤实现的。借助额外的硬阈值步骤，该过程还能生成稀疏估计量。