警惕黑盒：近期对抗样本防御的鲁棒性分析
机器学习
2021-11-03 v2 机器学习
摘要
近期在 NIPS、ICML、ICLR 和 CVPR 等会议上提出了许多防御方法。这些防御主要侧重于缓解白盒攻击，并未恰当考察黑盒攻击。在本文中，我们扩展了对这些防御的分析，将自适应黑盒对手纳入考量。我们的评估在九种防御上进行，包括 Barrage of Random Transforms、ComDefend、Ensemble Diversity、Feature Distillation、The Odds are Odd、Error Correcting Codes、Distribution Classifier Defense、K-Winner Take All 和 Buffer Zones。我们使用两种黑盒对抗模型和六种被广泛研究的对抗攻击，在 CIFAR-10 与 Fashion-MNIST 数据集上开展研究。我们的分析表明，与未防御网络相比，大多数近期防御（9 种中的 7 种）仅提供边际的安全性提升（）。对于每种防御，我们还展示了对手可获取的数据量与自适应黑盒攻击有效性之间的关系。总体而言，我们的结果描绘出清晰的图景：防御需要经过彻底的白盒与黑盒分析才能被视为安全。我们提供这项大规模研究与分析，以激励该领域转向开发更鲁棒的黑盒防御。
引用
@article{arxiv.2006.10876,
title = {Beware the Black-Box: on the Robustness of Recent Defenses to Adversarial Examples},
author = {Kaleel Mahmood and Deniz Gurevin and Marten van Dijk and Phuong Ha Nguyen},
journal= {arXiv preprint arXiv:2006.10876},
year = {2021}
}