简化直接搜索法的简明复杂度分析

我们考虑在无导数设置下光滑函数的无约束最小化问题。具体而言，我们提出并研究了一种直接搜索法（方向型）的简化变体，称之为简化直接搜索法（SDS）。与依赖大量需调节参数的标准直接搜索法不同，SDS 仅依赖单个标量参数。尽管关于直接搜索法的相关研究活动已持续数十年，但直到最近才建立了复杂度保证——即找到近似解所需函数评估次数的界。在本文中，我们对 SDS 在非凸、凸及强凸函数情形下给出了出人意料地简洁且统一的分析。我们在对问题维度 ($n$) 和误差容限 ($\epsilon$) 的依赖性上与现有的直接搜索复杂度结果相匹配，但总体界更简洁、更易于解释，且对其他问题参数具有更好的依赖性。具体而言，我们表明对于由标准坐标向量及其负向量构成的方向集，寻找凸（ resp. 强凸）光滑函数最小化问题的 $\epsilon$-解所需的函数评估次数为 $O(n^2 /\epsilon)$（resp. $O(n^2 \log(1/\epsilon))$）。在非凸光滑情形下，界为 $O(n^2/\epsilon^2)$，其目标是将梯度范数降低至 $\epsilon$ 以下。