混淆梯度带来虚假的安全感：规避对抗样本的防御
机器学习
2018-08-01 v4 人工智能
密码学与安全
摘要
我们识别出混淆梯度——一种梯度掩蔽——作为一种导致针对对抗样本的防御产生虚假安全感的现象。虽然引起混淆梯度的防御看似击败了基于迭代优化的攻击，我们发现依赖此效应的防御可被规避。我们描述了表现出该效应的防御的特征行为，并且对于我们发现的三种混淆梯度类型中的每一种，我们开发了克服它的攻击技术。在一个案例研究中，考察 ICLR 2018 上未经认证的白盒安全防御，我们发现混淆梯度是常见现象，9 种防御中有 7 种依赖混淆梯度。我们的新攻击在各自论文考虑的原有威胁模型下，成功完全规避了 6 种，部分规避了 1 种。
引用
@article{arxiv.1802.00420,
title = {Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples},
author = {Anish Athalye and Nicholas Carlini and David Wagner},
journal= {arXiv preprint arXiv:1802.00420},
year = {2018}
}
备注
ICML 2018. Source code at https://github.com/anishathalye/obfuscated-gradients