具有更低函数查询复杂度的非凸零阶随机 ADMM 方法
最优化与控制
2023-12-12 v4 机器学习
机器学习
摘要
零阶（亦称无导数）方法是一类用于求解复杂机器学习问题的有效优化方法，其中目标函数的梯度不可用或计算代价过高。近来，尽管已提出许多零阶方法，这些方法仍存在两个主要缺陷：1）函数查询复杂度高；2）不太适用于求解带有复杂罚项与约束的问题。为应对这些挑战性缺陷，本文提出一类更快的零阶随机交替方向乘子法（ADMM）方法（ZO-SPIDER-ADMM）来求解带多个非光滑罚项的非凸有限和问题。此外，我们证明 ZO-SPIDER-ADMM 方法在寻找 ε-平稳点时能达到 O(nd+dn^{1/2}ε^{-1}) 的更低函数查询复杂度，较现有最佳非凸零阶 ADMM 方法改进了 O(d^{1/3}n^{1/6}) 倍，其中 n 与 d 分别表示样本量与数据维度。同时，我们提出一类更快的零阶在线 ADMM 方法（ZOO-ADMM+）来求解带多个非光滑罚项的非凸在线问题。我们还证明所提 ZOO-ADMM+ 方法能达到 O(dε^{-3/2}) 的更低函数查询复杂度，较现有最佳结果改进了 O(ε^{-1/2}) 倍。在黑盒深度神经网络的结构化对抗攻击上的大量实验结果证明了我们新算法的效率。
引用
@article{arxiv.1907.13463,
title = {Nonconvex Zeroth-Order Stochastic ADMM Methods with Lower Function Query Complexity},
author = {Feihu Huang and Shangqian Gao and Jian Pei and Heng Huang},
journal= {arXiv preprint arXiv:1907.13463},
year = {2023}
}
备注
This paper was accepted to IEEE Transactions on Pattern Analysis and Machine Intelligence