用于零阶非凸优化的幂同伦方法

我们引入了 GS-PowerHP，一种用于求解形式为 $\max_{x \in \mathbb{R}^d} f(x)$ 的非凸优化问题的新型零阶方法。我们的方法利用了两个关键组成部分：一个幂变换的高斯平滑替代函数 $F_{N,\sigma}(\mu) = \mathbb{E}_{x\sim\mathcal{N}(\mu,\sigma^2 I_d)}[e^{N f(x)}]$，对于足够大的 $N$，其驻点会聚集在 $f$ 的全局最大值点 $x^*$ 附近；以及一个递增衰减的 $\sigma$ 以提高数据效率。在温和的假设下，我们证明了在期望下收敛到 $x^*$ 的一个小邻域，其迭代复杂度为 $O(d^2 \varepsilon^{-2})$。实证结果表明，我们的方法在一系列竞争算法中始终位列前三。其鲁棒性通过一个极高维问题（$d=150,528$）的最终实验得到强调，在该实验中，针对 ImageNet 图像的最小可能性目标黑盒攻击，它取得了第一名，超越了所有竞争方法。