批归一化在深度随机网络中正交化表示
机器学习
2021-06-09 v1 人工智能
机器学习
摘要
本文强调了批归一化(BN)的一个微妙性质：带有随机线性变换的连续批归一化使得深度神经网络各层之间的隐藏表示越来越正交。我们建立了深度、宽度与深度表示正交性之间相互作用的非渐近刻画。更确切地说，在温和假设下，我们证明表示偏离正交性的程度随深度快速衰减，直至一个与网络宽度成反比的项。该结果有两个主要含义：1) 理论上，随着深度增加，表示在经过线性层之后的分布收缩到围绕各向同性高斯分布的 Wasserstein-2 球。此外，该 Wasserstein 球的半径随网络宽度缩小。2) 在实践中，表示的正交性直接影响随机梯度下降(SGD)的性能。当表示初始对齐时，我们观察到 SGD 在分类之前浪费了许多迭代来正交化表示。尽管如此，我们通过实验表明，从正交表示开始优化足以加速 SGD，而无需 BN。
引用
@article{arxiv.2106.03970,
title = {Batch Normalization Orthogonalizes Representations in Deep Random Networks},
author = {Hadi Daneshmand and Amir Joudaki and Francis Bach},
journal= {arXiv preprint arXiv:2106.03970},
year = {2021}
}