不平衡梯度：对抗鲁棒性被高估的一个微妙诱因
计算机视觉与模式识别
2023-03-30 v4 密码学与安全
机器学习
摘要
在对抗鲁棒性研究中，评估防御模型的鲁棒性是一项具有挑战性的任务。此前已发现许多防御方法中存在混淆梯度，并导致虚假的鲁棒性信号。在本文中，我们识别出一种更为微妙的情况，称为不平衡梯度，它同样会导致对抗鲁棒性被高估。当边界损失中某一项的梯度占主导并将攻击推向次优方向时，就会出现不平衡梯度现象。为利用不平衡梯度，我们提出了一种边界分解（Margin Decomposition, MD）攻击，将边界损失分解为若干项，并通过两阶段过程分别探究这些项的可攻击性。我们还提出了 MD 攻击的多目标与集成版本。通过研究自 2018 年以来提出的 24 个防御模型，我们发现 11 个模型在某种程度上易受不平衡梯度影响，且我们的 MD 攻击能使它们由最佳独立基线攻击评估出的鲁棒性降低超过 1%。我们还对不平衡梯度可能产生的原因及有效对策进行了深入探究。我们的代码可在 https://github.com/HanxunH/MDAttack 获取。
引用
@article{arxiv.2006.13726,
title = {Imbalanced Gradients: A Subtle Cause of Overestimated Adversarial Robustness},
author = {Xingjun Ma and Linxi Jiang and Hanxun Huang and Zejia Weng and James Bailey and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2006.13726},
year = {2023}
}
备注
To appear in Machine Learning