基于粒子梯度下降的高效位移凸优化

粒子梯度下降使用粒子表示概率测度并并行地对粒子执行梯度下降,被广泛用于优化概率测度的函数。本文考虑具有有限数量粒子的粒子梯度下降,并为其优化在测度中具\emph{位移凸}性的函数建立理论保证。具体地,对于定义在 $\mathbb{R}^d$ 上概率的 Lipschitz 位移凸函数,我们证明 $O(1/\epsilon^2)$ 个粒子与 $O(d/\epsilon^4)$ 次计算足以找到 $\epsilon$-最优解。我们进一步为优化光滑位移凸函数提供了改进的计算复杂度界。我们展示了我们的结果在具有二维输入的特定神经架构函数近似中的应用。