面向超大规模黑盒优化的零阶块坐标下降算法
最优化与控制
2021-08-17 v2 人工智能
机器学习
机器学习
摘要
我们考虑超大规模设定下的零阶优化问题，其中问题维度极大，以至于对决策变量执行即便是基本的向量操作也不可行。本文提出一种新算法，称为 ZO-BCD，其具有优良的总体查询复杂度，且每次迭代的计算复杂度小得多。此外，我们讨论了通过巧妙使用循环测量矩阵可进一步缩减 ZO-BCD 的内存占用。作为新方法的应用，我们提出在 wavelet 域中对基于神经网络的分类器构造对抗攻击的思路，这可导致超过 170 万的问题维度。特别地，我们展示了在 wavelet 域中对音频分类器构造对抗样本可达到 97.9% 的 SOTA 攻击成功率。
引用
@article{arxiv.2102.10707,
title = {A Zeroth-Order Block Coordinate Descent Algorithm for Huge-Scale Black-Box Optimization},
author = {HanQin Cai and Yuchen Lou and Daniel McKenzie and Wotao Yin},
journal= {arXiv preprint arXiv:2102.10707},
year = {2021}
}
备注
Accepted to ICML 2021