带函数约束复合问题的零阶优化

在许多现实问题中，一阶（FO）导数计算过于昂贵甚至不可得。为解决这些问题，仅需函数值的零阶（ZO）方法往往比FO方法更高效，或有时是唯一选择。本文提出一种新颖的零阶不精确增广拉格朗日方法（ZO-iALM），用于求解涉及复合（即光滑+非光滑）目标与函数约束的黑盒优化问题。在某种正则条件下（若干现有FO方法工作亦假设此条件），对于非凸目标与非凸约束问题，我们的ZO-iALM查询复杂度为$\tilde{O}(d\varepsilon^{-3})$以找到$\varepsilon$-KKT点；对于带凸约束的非凸问题为$\tilde{O}(d\varepsilon^{-2.5})$，其中$d$为变量维数。这似乎是首个为函数约束优化开发基于iALM的ZO方法、同时取得与最佳已知FO复杂度结果仅相差$d$因子的查询复杂度的工作。通过广泛实验研究，我们展示了方法的有效性。我们的方法应用范围从经典优化问题到实际机器学习示例，如传感器网络中的资源分配与对抗样本生成。