凸最小化的线搜索

黄金分割搜索与二分搜索是拟凸（单峰）函数一维最小化的两个主要原则性算法。前者仅使用函数查询，而后者还使用梯度查询。在其他更强假设下存在其他算法，如牛顿法。然而，据我们所知，对于利用凸性的通用凸函数——包括分段线性与凸函数的最大复合——尚无原则性的精确线搜索算法。我们提出两种此类算法：Δ-Bisection是一种二分搜索的变体，利用（次）梯度信息与凸性加速收敛；而Δ-Secant是一种黄金分割搜索的变体，仅使用函数查询。虽然二分搜索在每次迭代中将x区间缩减为原来的1/2，但Δ-Bisection在每次迭代中将（有时小得多的）x*-间隙Δ^x（Δ的x坐标）至少缩减为原来的1/2。类似地，Δ-Secant也在每两次函数查询中将x*-间隙至少缩减为原来的1/2。此外，y*-间隙Δ^y（Δ的y坐标）也提供了一种精细的停止准则，其也可用于其他算法。在若干凸函数上的实验证实我们的算法始终快于其拟凸对应算法，通常快一倍以上。我们进一步基于Δ-Secant设计了一种准精确线搜索算法。它可作为回溯线搜索的替代用于梯度下降，而后者某些参数难以调优——我们在强凸与光滑函数上给出了相关示例。我们提供了收敛保证，并在若干单变量与多变量凸函数上确认了准精确线搜索的效率。