利用$L_{2,\infty}$范数归一化提升深度神经网络的鲁棒性与准确率
机器学习
2020-10-13 v1 机器学习
摘要
本文通过引入以Relu为激活函数的深度神经网络（DNN）权重矩阵的归一化，增强了DNN的鲁棒性和准确率。证明了归一化导致DNN函数多面体图的相邻两面之间具有较大的二面角，从而得到更平滑的DNN函数，减少了过拟合。提出了一种分类DNN鲁棒性的度量，即以样本数据为球心的最大鲁棒球的平均半径。给出了该鲁棒性度量关于范数的下界。最后，给出了带归一化的DNN的Rademacher复杂度的上界。给出了一种训练带归一化DNN的算法，并用实验结果表明归一化能有效提升鲁棒性和准确率。
引用
@article{arxiv.2010.04912,
title = {Improve the Robustness and Accuracy of Deep Neural Network with $L_{2,\infty}$ Normalization},
author = {Lijia Yu and Xiao-Shan Gao},
journal= {arXiv preprint arXiv:2010.04912},
year = {2020}
}