具有门控残差的平衡二值神经网络
计算机视觉与模式识别
2020-02-12 v2
摘要
二值神经网络近年来引起了广泛关注。然而，主要由于偏置二值化带来的信息损失，如何保持网络精度仍是一个关键问题。本文试图维持前向过程中传播的信息，并提出一种具有门控残差的平衡二值神经网络（简称BBG）。首先，引入权重平衡二值化以最大化二值权重的熵，从而令信息量丰富的二值权重能够捕捉激活值中包含的更多信息。其次，对于二值激活值，进一步附加门控残差以补偿其前向过程中的信息损失，且开销轻微。两种技术均可封装为通用网络模块，支持用于分类与检测等不同任务的多种网络架构。我们在CIFAR-10/100和ImageNet上的图像分类任务以及Pascal VOC上的检测任务中评估了BBG。实验结果表明，BBG-Net在VGG、ResNet和SSD等多种网络架构上表现极为出色，在内存消耗、推理速度和精度方面均优于当前最优方法。
引用
@article{arxiv.1909.12117,
title = {Balanced Binary Neural Networks with Gated Residual},
author = {Mingzhu Shen and Xianglong Liu and Ruihao Gong and Kai Han},
journal= {arXiv preprint arXiv:1909.12117},
year = {2020}
}
备注
Accepted by ICASSP2020