无梯度极小极大优化：收敛性及在对抗机器学习中的应用
机器学习
2020-06-18 v3 最优化与控制
机器学习
摘要
在本文中，我们研究黑盒设定下的约束鲁棒（极小极大）优化问题，其中所需的优化器无法访问目标函数的梯度，但可以查询其值。我们提出了一个有原则的优化框架，将零阶（ZO）梯度估计器与交替投影随机梯度下降-上升方法相集成，前者仅需少量函数查询，后者仅需一步下降/上升更新。我们证明所提出的框架（称为 ZO-Min-Max）在温和条件下具有次线性收敛速率，并且随问题规模优雅地扩展。在应用方面，我们探索了黑盒极小极大优化与对抗机器学习（ML）中黑盒规避和投毒攻击之间一个有前景的联系。我们在这些用例上的实证评估证明了我们方法的有效性及其对禁止近期黑盒求解器使用的维度的可扩展性。
引用
@article{arxiv.1909.13806,
title = {Min-Max Optimization without Gradients: Convergence and Applications to Adversarial ML},
author = {Sijia Liu and Songtao Lu and Xiangyi Chen and Yao Feng and Kaidi Xu and Abdullah Al-Dujaili and Minyi Hong and Una-May O'Reilly},
journal= {arXiv preprint arXiv:1909.13806},
year = {2020}
}
备注
ICML 2020