论层归一化的非线性

层归一化（LN）是深度学习中一种普遍使用的技术，但我们对它的理论理解仍然难以捉摸。本文探讨了LN的一个新理论方向，涉及其非线性和表示能力。我们研究了由线性变换和LN变换逐层组合而成的网络（称为LN-Net）的表示能力。我们从理论上证明，给定$m$个具有任意标签分配的样本，一个每层仅有3个神经元、包含$O(m)$个LN层的LN-Net能够正确分类它们。我们进一步给出了LN-Net的VC维下界。LN的非线性可以通过分组划分来放大，这一点在温和假设下得到了理论证明，并得到了我们实验的实证支持。基于我们的分析，我们考虑通过利用和放大LN的非线性来设计神经架构，其有效性得到了我们实验的支持。