自适应步长：分析与改进基于梯度的对抗攻击方法的统一视角
机器学习
2023-02-03 v3
摘要
学习对抗样本可表述为在若干盒式约束下最大化损失函数的优化问题。然而，对于求解该诱导优化问题，最先进的基于梯度的方法如 FGSM、I-FGSM 和 MI-FGSM 与其原始方法看起来不同，尤其在更新方向上，这使得难以理解它们，并留下了从优化视角需解决的一些理论问题。在本文中，从自适应步长的视角，我们提供了这些基于梯度的对抗学习方法的统一理论解释。我们表明，这些算法中的每一个实际上都是其原始梯度方法的特定重构，但使用了仅利用当前梯度信息的步长规则。受此分析启发，我们提出了一类基于常规梯度方法的广泛自适应梯度算法，其中集成了利用累积梯度信息的步长策略。此类自适应步长策略直接对梯度尺度进行归一化，而非使用某些经验操作。重要益处在于，迭代算法的收敛性得到保证，从而整个优化过程可稳定。实验表明，我们的 AdaI-FGM 始终优于 I-FGSM，且 AdaMI-FGM 在黑盒攻击中保持与 MI-FGSM 的竞争力。
引用
@article{arxiv.2301.11546,
title = {Adapting Step-size: A Unified Perspective to Analyze and Improve Gradient-based Methods for Adversarial Attacks},
author = {Wei Tao and Lei Bao and Sheng Long and Gaowei Wu and Qing Tao},
journal= {arXiv preprint arXiv:2301.11546},
year = {2023}
}