随机无导数优化的序列检验抽样

在许多无导数优化算法中， sufficient decrease condition 决定是否在每个迭代中接受试探步骤。该条件通常需要试探步骤的潜在目标函数值减小，即从当前点移动到试探点后实现的真实目标函数值减小，大于步长的平方的某个倍数。当目标函数是随机的时，准确评估这一条件可能需要较大的估计成本。本文将随机情境下的 sufficient decrease condition 评估问题建模为假设检验问题，并通过序列假设检验来解决。问题中考虑的两个假设分别对应于接受或拒绝试探步骤。该检验依据噪声方差和步长，依次收集带噪声的潜在减小观测样本，直到其和跨越下界或上界。当观测噪声为高斯分布时，我们推导出一种新颖的样本大小结果，表明评估该条件的工作量显式地取决于潜在减小量，当 sufficient decrease condition 远离满足时，序列检验会提前终止。此外，当潜在减小量为 $\Theta(\delta^r)$（其中 $r \in (0,2]$）时，预期样本数量从 $\Theta(\delta^{-4})$ 降低到 $O(\delta^{-2-r})$。我们将这一序列检验抽样框架应用于概率下降直接搜索方法。为分析其收敛率，我们将基于续期奖励的亚鞑杂 martingale 收敛率分析框架扩展到任意概率阈值。通过这种方式，我们能够表明概率下降直接搜索的迭代复杂度为 $O(n/\epsilon^2)$ 用于梯度范数...