“BNN - BN = ?”：无批归一化训练二值神经网络
机器学习
2021-04-19 v1 计算机视觉与模式识别
摘要
批归一化（BN）是关键助推因素，并被认为是实现最先进二值神经网络（BNN）所必需的。然而，BN层的计算代价高昂，且通常以非二值参数实现，这为BNN训练的高效实现留下了障碍。它还引入了同一批次内样本间不希望的依赖性。受近期无批归一化（BN-Free）训练进展的启发，我们将他们的框架扩展至BNN训练，并首次证明BN可从BNN的训练与推理机制中完全移除。通过引入并定制包括自适应梯度裁剪、尺度权重标准化以及专用瓶颈块等技术，无BN的BNN能够维持与其基于BN的对应网络相当的精度。大量实验在不同BNN骨干网络与数据集上验证了我们所提方法的有效性。例如，从最先进的ReActNets中移除BN后，仍可使用我们提出的方法训练，在CIFAR-10、CIFAR-100和ImageNet上分别达到92.08%、68.34%和68.0%的准确率，性能下降微小（CIFAR上0.23%~0.44%，ImageNet上1.40%）。代码与预训练模型见：https://github.com/VITA-Group/BNN_NoBN。
引用
@article{arxiv.2104.08215,
title = {"BNN - BN = ?": Training Binary Neural Networks without Batch Normalization},
author = {Tianlong Chen and Zhenyu Zhang and Xu Ouyang and Zechun Liu and Zhiqiang Shen and Zhangyang Wang},
journal= {arXiv preprint arXiv:2104.08215},
year = {2021}
}