去相关批归一化
计算机视觉与模式识别
2018-04-24 v1 机器学习
机器学习
摘要
批归一化（BN）能够通过在小批量内对激活值进行中心化和缩放来加速深度模型的训练。在本工作中，我们提出去相关批归一化（DBN），它不仅对激活值进行中心化和缩放，还对其进行白化。我们探索了多种白化技术，发现 PCA 白化会导致一个我们称之为随机轴交换的问题，该问题不利于学习。我们表明 ZCA 白化不受此问题影响，从而允许成功学习。DBN 保留了 BN 的可取特性，并进一步提升了 BN 的优化效率和泛化能力。我们设计了全面的实验来证明 DBN 能在多层感知机和卷积神经网络上提升 BN 的性能。此外，我们在 CIFAR-10、CIFAR-100 和 ImageNet 上一致地提升了残差网络的准确率。
引用
@article{arxiv.1804.08450,
title = {Decorrelated Batch Normalization},
author = {Lei Huang and Dawei Yang and Bo Lang and Jia Deng},
journal= {arXiv preprint arXiv:1804.08450},
year = {2018}
}
备注
Accepted to CVPR 2018. Code available at https://github.com/umich-vl/DecorrelatedBN