批量归一化是对抗脆弱性的一个成因
机器学习
2019-05-31 v2 机器学习
摘要
批量归一化（batch norm）常被用于尝试稳定和加速深度神经网络的训练。在许多情况下，它确实减少了达到低训练误差所需的参数更新次数。然而，正如我们在五个标准数据集上所展示的，它还将对微小对抗输入扰动和噪声的鲁棒性降低了两位数百分比。此外，用权重衰减替代批量归一化足以消除对抗脆弱性与输入维度之间的关系。我们的工作与平均场分析一致，该分析发现批量归一化会导致梯度爆炸。
引用
@article{arxiv.1905.02161,
title = {Batch Normalization is a Cause of Adversarial Vulnerability},
author = {Angus Galloway and Anna Golubeva and Thomas Tanay and Medhat Moussa and Graham W. Taylor},
journal= {arXiv preprint arXiv:1905.02161},
year = {2019}
}
备注
To appear in the ICML 2019 Workshop on Identifying and Understanding Deep Learning Phenomena