Bi-Real Net：通过改进表征能力与先进训练算法提升 1-bit CNN 性能
计算机视觉与模式识别
2018-10-02 v5
摘要
在本工作中，我们研究 1-bit 卷积神经网络（CNN），其权重和激活均为二值。尽管高效，当前的 1-bit CNN 在 ImageNet 等大规模数据集上相比其实值 CNN 模型的分类精度要差得多。为最小化 1-bit 与实值 CNN 模型之间的性能差距，我们提出一种称为 Bi-Real net 的新模型，其通过恒等捷径将实值激活（在 1-bit 卷积和/或 BatchNorm 层之后、符号函数之前）连接到后续块的激活。因此，相比标准 1-bit CNN，Bi-Real net 的表征能力显著增强，且带来的额外计算开销可忽略。此外，我们为 1-bit CNN 开发了一种包含三项技术新颖性的特定训练算法。首先，我们推导了关于激活的非可微符号函数导数的紧近似。其次，我们提出关于权重的幅值感知梯度用于更新权重参数。第三，我们使用 clip 函数而非 ReLU 函数预训练实值 CNN 模型，以更好地初始化 Bi-Real net。在 ImageNet 上的实验表明，所提训练算法的 Bi-Real net 在 18 层和 34 层时分别取得 56.4% 和 62.2% 的 top-1 精度。相比当前最优方法（如 XNOR Net），Bi-Real net 在更高内存节省和更低计算成本下取得了高达 10% 更高的 top-1 精度。关键词：二值神经网络，1-bit CNN，逐块单层
引用
@article{arxiv.1808.00278,
title = {Bi-Real Net: Enhancing the Performance of 1-bit CNNs With Improved Representational Capability and Advanced Training Algorithm},
author = {Zechun Liu and Baoyuan Wu and Wenhan Luo and Xin Yang and Wei Liu and Kwang-Ting Cheng},
journal= {arXiv preprint arXiv:1808.00278},
year = {2018}
}
备注
Accepted to European Conference on Computer Vision (ECCV) 2018. Code is available on: https://github.com/liuzechun/Bi-Real-net