Adversarial-Playground：展示对抗样本如何欺骗深度学习的可视化套件
摘要
近期研究表明，攻击者可以迫使深度学习模型对所谓的“对抗样本”进行误分类：这些恶意生成的图像是通过对像素值进行难以察觉的修改而形成的。随着深度学习在安全应用中的兴趣日益增长，安全专家和机器学习用户认识到学习系统可能如何受到攻击变得至关重要。由于深度学习的复杂性，理解深度模型如何被对抗样本欺骗具有挑战性。因此，我们提出了一种基于 Web 的可视化工具 Adversarial-Playground，以展示常见对抗方法对卷积神经网络（CNN）系统的有效性。Adversarial-Playground 具有教育性、模块化和交互性。(1) 它使非专家能够直观地比较样本，并理解为什么对抗样本能够欺骗基于 CNN 的图像分类器。(2) 它可以帮助安全专家作为软件模块探索深度学习的更多漏洞。(3) 由于图像分类的特征空间庞大（通常生成对抗样本速度缓慢且可视化图像成本高昂），在该领域构建交互式可视化具有挑战性。通过多项新颖的设计选择，我们的工具能够对用户请求提供快速且准确的响应。从经验上看，我们发现客户端-服务器划分策略将每个样本的响应时间平均减少了 1.5 秒。我们的另一项创新是 JSMA 规避算法的更快变体，在经验上其运行速度是 JSMA 的两倍，同时保持了相当的规避率。项目源代码和实验数据可在以下网址获取：https://github.com/QData/AdversarialDNN-Playground
引用
@article{arxiv.1708.00807,
title = {Adversarial-Playground: A Visualization Suite Showing How Adversarial Examples Fool Deep Learning},
author = {Andrew P. Norton and Yanjun Qi},
journal= {arXiv preprint arXiv:1708.00807},
year = {2017}
}
备注
5 pages. {I.2.6}{Artificial Intelligence} ; {K.6.5}{Management of Computing and Information Systems}{Security and Protection}. arXiv admin note: substantial text overlap with arXiv:1706.01763