用于高斯鲁棒网络的分析矩正则化器
计算机视觉与模式识别
2019-04-26 v1 机器学习
摘要
尽管深度神经网络（DNNs）在众多视觉任务上表现优异，它们仍表现出尚待理解的粗劣行为。一种令人困惑的行为是 DNNs 对各种噪声攻击的微妙敏感反应。这一困扰加强了围绕开发和训练噪声鲁棒网络的研究路线。本工作中，我们提出一种新的训练正则化器，旨在最小化 DNN 在一般高斯输入下的概率期望训练损失。我们提供了一种高效且简单的方法来近似任意深度网络的此类正则化器。这是通过利用浅层神经网络输出的均值解析表达式实现的，从而避免了对内存和计算昂贵的数据增强的需求。我们在 LeNet 和 AlexNet 上于包括 MNIST、CIFAR10 和 CIFAR100 的多个数据集进行了广泛实验，证明了所提正则化器的有效性。特别地，我们展示用所提正则化器训练的网络获得的鲁棒性提升等价于执行 3-21 倍的数据增强。
引用
@article{arxiv.1904.11005,
title = {Analytical Moment Regularizer for Gaussian Robust Networks},
author = {Modar Alfadly and Adel Bibi and Bernard Ghanem},
journal= {arXiv preprint arXiv:1904.11005},
year = {2019}
}