通过模拟退火逃离局部极小值：近似凸函数的优化

我们考虑了在 $\mathbb{R}^n$ 中的有界凸集上仅利用函数求值来优化近似凸函数的问题。该问题被转化为使用 Hit-and-Run 方法从近似对数凹分布中采样，其被证明具有与从对数凹分布采样相同的 $\mathcal{O}^*$ 复杂度。除了将对数凹分布的分析扩展到近似对数凹分布外，Hit-and-Run 游走的一维采样器的实现需要新的方法和分析。该算法基于模拟退火，不依赖一阶条件，这使其本质上对局部极小值免疫。然后，我们将该方法应用于不同的动机问题。在零阶随机凸优化的背景下，所提出的方法通过诱导 $\mathcal{O}(\epsilon/n)$-近似对数凹分布，在 $\mathcal{O}^*(n^{7.5}\epsilon^{-2})$ 次带噪声函数求值后产生一个 $\epsilon$-最小化器。我们还详细考虑了“非凸程度”向函数最优值衰减的情况。本文讨论的该方法的其他应用包括经验风险最小化器的隐私计算、两阶段随机规划以及在线学习的近似动态规划。