通过正则化实现方差缩减中的自适应步长

本工作的主要目标是为凸与非凸问题配备 Barzilai-Borwein (BB) 步长。在 BB 步长具备自适应性的前提下，当目标函数非强凸时它们可能失效。为克服这一挑战，此处的关键思想是通过正则化来桥接（非）凸问题与强凸问题。所提出的正则化方案简单却有效。将 BB 步长与一种称为 SARAH 的方差缩减方法相结合，相较于凸问题中的原始 SARAH 提供了一顿免费午餐。非凸问题中 BB 步长的收敛性亦得以建立，其复杂度不劣于 AdaGrad 等其他自适应步长。作为副产品，我们针对凸函数的正则化 SARAH 方法确保了找到满足 $\mathbb{E}[\| \nabla f(\mathbf{x}) \|^2]\leq \epsilon$ 的复杂度是 ${\cal O}\big( (n+\frac{1}{\sqrt{\epsilon}})\ln{\frac{1}{\epsilon}}\big)$，改进了现有结果对 $\epsilon$ 的依赖。数值实验进一步验证了所提方法的优点。