迈向抵抗大扰动的高鲁棒深度学习模型
机器学习
2020-03-31 v1 机器学习
摘要
对抗鲁棒性已被证明是机器学习算法所需具备的性质。该问题一个关键且常被忽视的方面是试图使对抗噪声幅度尽可能大，以增强模型鲁棒的益处。我们表明，被称为“对抗训练”的成熟算法在给定合理但较大的扰动幅度时，无法训练深度神经网络。本文中，我们提出一种简单而有效的网络权重初始化方法，使在更高噪声水平上的学习成为可能。接下来，我们在 MNIST（ 高达 ）与 CIFAR10（ 高达 ）数据集上，假设 攻击模型，严格评估该想法。此外，为确定学习可行的 极限，我们研究了在完全获知数据与标签联合分布下的最优鲁棒分类器。随后，我们针对简单的多维伯努利分布给出了关于对抗准确率的一些理论结果，这为 MNIST 数据集可行扰动的范围提供了若干见解。
引用
@article{arxiv.2003.13370,
title = {Towards Deep Learning Models Resistant to Large Perturbations},
author = {Amirreza Shaeiri and Rozhin Nobahari and Mohammad Hossein Rohban},
journal= {arXiv preprint arXiv:2003.13370},
year = {2020}
}