曲率感知无导数优化

本文讨论无导数优化（DFO），即仅通过函数求值、无需梯度或方向导数来最小化函数。模仿基于梯度方法的经典 DFO 方法（如 Nelder-Mead 与直接搜索）在高维问题上可扩展性有限。由于大规模机器学习应用的需求，零阶方法日益流行，本文聚焦于这些方法中步长 $\alpha_k$ 的选择。所提方法称为曲率感知随机搜索（CARS），利用一阶与二阶有限差分近似计算候选步长 $\alpha_{+}$。我们证明，对于强凸目标函数，只要搜索方向取自满足非常温和条件的分布，CARS 便线性收敛。我们还提出 CARS 的立方正则（Cubic Regularized）变体，称为 CARS-CR，其在无强凸假设下以 $\mathcal{O}(k^{-1})$ 的速率收敛。数值实验表明，在基准问题集上 CARS 与 CARS-CR 匹配或超越当前最优（SOTA）方法。