一种对维度不敏感的随机零阶优化算法

本文研究一个凸的随机零阶优化（S-ZOO）问题。目标是最小化一个代价函数期望，其梯度不可直接获取。对于该问题，传统优化算法的查询复杂度大多随维度（决策变量个数）多项式增长。因此，这些方法在求解许多现代应用中出现的大规模维度问题时可能表现不佳。尽管较新的方法可被证明对维度不敏感，但几乎所有方法都要求更严格的条件，如梯度处处稀疏或可压缩。在本文中，我们提出一种稀疏诱导的无随机梯度（SI-SGF）算法，该算法在凸和强凸情形下均被证明产生无维度（至多相差对数项）的查询复杂度。这种对维度增长的不敏感性首次被证明在既不满足梯度稀疏性也不满足梯度可压缩性时也可实现。我们的数值结果展示了理论预测与经验性能之间的一致性。