深度学习中归一化方法的新诠释
机器学习
2020-06-17 v1 机器学习
摘要
近年来，人们提出了多种归一化方法来辅助训练神经网络，如批量归一化(batch normalization, BN)、层归一化(layer normalization, LN)、权重归一化(weight normalization, WN)、组归一化(group normalization, GN)等。然而，缺乏分析所有这些归一化方法的数学工具。本文中，我们首先提出一个引理以定义若干必要工具。随后，我们利用这些工具对流行的归一化方法进行深入分析，得到如下结论：1) 大多数归一化方法可在统一框架下解释，即将预激活或权重归一化到球面上；2) 由于大多数现有归一化方法具有尺度不变性，我们可在去除尺度对称性的球面上进行优化，这有助于稳定网络训练；3) 我们证明使用这些归一化方法训练会使权重的范数增大，这可能因放大攻击而导致对抗脆弱性。最后，进行了一系列实验以验证这些论断。
引用
@article{arxiv.2006.09104,
title = {New Interpretations of Normalization Methods in Deep Learning},
author = {Jiacheng Sun and Xiangyong Cao and Hanwen Liang and Weiran Huang and Zewei Chen and Zhenguo Li},
journal= {arXiv preprint arXiv:2006.09104},
year = {2020}
}
备注
Accepted by AAAI 2020