XNOR-Net++:改进的二值神经网络
计算机视觉与模式识别
2019-10-01 v1 机器学习
图像与视频处理
摘要
本文提出了一种改进的二值神经网络训练算法,其中权重与激活值均为二值数。当前最先进的XNOR-Net方法一个关键但被相当忽视的特征是,使用解析计算的实值缩放因子对二值卷积的输出进行重新加权。我们认为这些因子的解析计算是次优的。相反,本工作中我们做出如下贡献:(a) 我们提出将激活与权重的缩放因子融合为单一因子,并通过反向传播判别性地学习。(b) 更重要的是,我们在固定计算预算的前提下探索了多种构造缩放因子形状的方式。(c) 我们通过实验度量了这些近似的精度,并表明它们显著优于解析计算的因子。(d) 我们表明,在ImageNet分类这一具有挑战性的任务上测试时,我们的方法在相同计算预算下显著优于XNOR-Net,准确率提升高达6%。
引用
@article{arxiv.1909.13863,
title = {XNOR-Net++: Improved Binary Neural Networks},
author = {Adrian Bulat and Georgios Tzimiropoulos},
journal= {arXiv preprint arXiv:1909.13863},
year = {2019}
}
备注
Accepted to BMVC 2019