为何正则化自编码器学习稀疏表示？

尽管批量归一化(Batch Normalization, BN)的作者识别并解决了深度网络训练中的一个重要问题——内部协变量偏移(Internal Covariate Shift)——但当前的解决方案存在某些缺陷。例如，BN在训练期间依赖于批量统计进行逐层输入归一化，由于参数值漂移（尤其在初始训练轮次），这导致对隐藏层输入（分布）的均值和标准差的估计不准确。BN的另一个基本问题是它不能在训练期间用于批大小 $1$。我们通过提出一种用于消除协变量偏移的非自适应归一化技术来解决BN的这些缺陷，我们称之为归一化传播(Normalization Propagation)。我们的方法不依赖于批量统计，而是使用与数据无关的参数化均值和标准差估计，因此在计算上比BN更快。我们利用这样的观察：在深度网络中，修正线性单元(Rectified Linear Units)之前的预激活服从高斯分布，并且一旦任意给定数据集的一阶和二阶统计量被归一化，我们就能前向传播该归一化而无需重新计算隐藏层的近似统计量。