近似精确线搜索

我们提出近似精确线搜索（AELS），它仅使用函数值评估，在单峰目标的精确线搜索极小值的常数比例范围内选择步长。我们给出了 AELS 的迭代次数与函数值评估次数的界，证明了在光滑、强凸目标上，对于三种下降方法——使用真实梯度的 steepest descent、使用梯度近似的近似 steepest descent 以及随机方向搜索——具有线性收敛性，且不依赖于初始步长。我们在弱正则化逻辑回归上（针对梯度下降和 minibatch 随机梯度下降）以及在使用拟牛顿搜索方向的无导数优化基准目标集上，展示了相比 Armijo 线搜索及其他基线的实验加速。我们还分析了一种用于强 Wolfe 条件的简单线搜索，发现了与 AELS 类似的迭代与函数值评估复杂度的上界。实验上我们发现 AELS 在确定性和随机 minibatch 逻辑回归上快得多，而 Wolfe 线搜索在 DFO 基准上略快。我们的发现表明，线搜索尤其是 AELS，在随机优化 regime 中可能比通常认为的更有用。