自分布二值神经网络
计算机视觉与模式识别
2022-03-01 v2
摘要
本工作中，我们研究二值神经网络（BNNs），其权重和激活均为二值（即1-bit表示）。特征表示对深度神经网络至关重要，而在BNNs中，特征仅以符号相区分。已有研究将缩放因子引入二值权重和激活以减小量化误差，并有效提升了BNNs的分类精度。然而，缩放因子不仅增加了网络的计算复杂度，对二值特征的符号也无意义。为此，我们提出自分布二值神经网络（SD-BNN）。首先，我们利用激活自分布（ASD）自适应调整激活的符号分布，从而改善卷积输出的符号差异。其次，我们通过权重自分布（WSD）调整权重的符号分布，并进一步微调卷积输出的符号分布。在CIFAR-10和ImageNet数据集上基于多种网络结构的大量实验表明，所提出的SD-BNN以更低的计算成本持续优于当前最优（SOTA）的BNNs（例如，使用ResNet-18在CIFAR-10上达到92.5%，在ImageNet上达到66.5%）。代码见 https://github.com/ pingxue-hfut/SD-BNN。
引用
@article{arxiv.2103.02394,
title = {Self-Distribution Binary Neural Networks},
author = {Ping Xue and Yang Lu and Jingfei Chang and Xing Wei and Zhen Wei},
journal= {arXiv preprint arXiv:2103.02394},
year = {2022}
}
备注
10 pages, 6 figures. Appl Intell (2022)