关于批白化随机性的探究
计算机视觉与模式识别
2020-03-30 v1 机器学习
摘要
批归一化（BN）通过在小批量内执行标准化而被广泛应用于各种网络架构中。对其过程的充分理解一直是深度学习领域的核心目标。与通常仅分析标准化操作的已有工作不同，本文研究更一般的批白化（BW）。我们的工作源于如下观察：尽管各种白化变换等价地改善了条件数，它们在判别场景与训练生成对抗网络（GANs）时表现出显著不同的行为。我们将此现象归因于BW所引入的随机性。我们定量研究了不同白化变换的随机性，并表明其与训练期间的优化行为密切相关。我们还研究了随机性如何与推断阶段总体统计量的估计相关联。基于我们的分析，我们提供了一个用于在不同场景中设计与比较BW算法的框架。我们所提出的BW算法在ImageNet分类上以显著幅度改进了残差网络。此外，我们表明BW的随机性可提升GAN的性能，但代价是牺牲训练稳定性。
引用
@article{arxiv.2003.12327,
title = {An Investigation into the Stochasticity of Batch Whitening},
author = {Lei Huang and Lei Zhao and Yi Zhou and Fan Zhu and Li Liu and Ling Shao},
journal= {arXiv preprint arXiv:2003.12327},
year = {2020}
}
备注
Accepted to CVPR 2020. The Code is available at https://github.com/huangleiBuaa/StochasticityBW