通过激活值样本方差的方差进行正则化
机器学习
2018-11-22 v1 机器学习
摘要
归一化技术在支持深度神经网络高效且通常更有效的训练中起着重要作用。虽然常规方法显式地归一化激活值，我们建议改为添加一个损失项。这一新的损失项鼓励激活值的方差保持稳定，不随随机小批量的变化而波动。正如我们所证明的，这鼓励激活值分布在少数几个不同的模态附近。我们还表明，如果输入来自两个高斯分布的混合，根据先验概率，新损失要么将两者合并，要么在LDA意义下对它们进行最优分离。最后，我们能够将新的正则化项与batchnorm方法联系起来，从而为其提供一个正则化视角。我们的实验证明了在CNN和全连接网络上相对于batchnorm技术在准确率上的提升。
引用
@article{arxiv.1811.08764,
title = {Regularizing by the Variance of the Activations' Sample-Variances},
author = {Etai Littwin and Lior Wolf},
journal= {arXiv preprint arXiv:1811.08764},
year = {2018}
}