滤波批归一化

神经网络中不同层的激活服从高斯分布是一个常见假设。该分布可用归一化技术（如批归一化）变换，从而加快收敛速度并提升精度。在本文中，我们欲证明激活并非在所有层都必然服从高斯分布。较深层的神经元更具选择性与特异性，可导致极大、离群的激活。我们将证明，通过滤除这些激活，可为训练期间的批归一化创建更一致的均值和方差值，从而进一步加快收敛速度并获得更高的验证精度。