量化网络中的批归一化
机器学习
2020-04-30 v1 机器学习
摘要
在計算硬件上实现量化神经网络可带来显著的速度提升与内存节省。然而，量化深度网络难以训练，且批归一化 (BatchNorm) 层在训练全精度与量化网络中起着重要作用。大多数关于 BatchNorm 的研究聚焦于全精度网络，而理解 BatchNorm 在量化训练中的影响的研究甚少，本文正致力于此。我们表明 BatchNorm 可避免梯度爆炸，这一结论有违直觉且近期被其他研究者在数值实验中观察到。
引用
@article{arxiv.2004.14214,
title = {Batch Normalization in Quantized Networks},
author = {Eyyüb Sari and Vahid Partovi Nia},
journal= {arXiv preprint arXiv:2004.14214},
year = {2020}
}