批归一化如何帮助二值化训练？
机器学习
2020-04-30 v3 机器学习
摘要
二值神经网络（BNNs）难以训练，并且会遭受精度下降的困扰。在实践中，似乎没有批归一化（BatchNorm）层，BNNs 就无法训练。我们发现，批归一化的主要作用是在 BNNs 中避免梯度爆炸。这一发现表明，为全精度网络开发的常见初始化方法与 BNNs 无关。我们对批归一化在二值化训练中的作用进行了理论研究，并辅以数值实验。
引用
@article{arxiv.1909.09139,
title = {How Does Batch Normalization Help Binary Training?},
author = {Eyyüb Sari and Mouloud Belbahri and Vahid Partovi Nia},
journal= {arXiv preprint arXiv:1909.09139},
year = {2020}
}