基于局部多项式回归加速梯度经验风险最小化

我们研究近期提出的基于局部多项式插值的梯度下降方法（LPI-GD）在经验风险最小化问题（ERM）近似求解中的加速。我们关注强凸且光滑、条件数为$\sigma$的损失函数。我们额外假设损失函数关于数据是$\eta$-Hölder连续的。LPI-GD的预言复杂度为$\tilde{O}\left(\sigma m^d \log(1/\varepsilon)\right)$（给定精度$\varepsilon$），其中$d$为参数空间维数，$m$为近似网格的基数。因子$m^d$可证明随$O((1/\varepsilon)^{d/2\eta})$缩放。已证明LPI-GD在某些参数区间上具有优于梯度下降（GD）和随机梯度下降（SGD）的预言复杂度。我们基于LPI-GD提出两种用于ERM问题的加速方法，并给出$\tilde{O}\left(\sqrt{\sigma} m^d \log(1/\varepsilon)\right)$的预言复杂度。此外，我们提供了关于局部多项式插值梯度方法的首次实证研究，并证实LPI-GD在某些场景下性能优于GD和SGD，且所提方法实现了加速。