Bi-Real Net：将深度网络二值化以逼近实值网络性能
计算机视觉与模式识别
2019-09-05 v2
摘要
在本文中，我们研究 1-bit 卷积神经网络（CNNs），其权重和激活均为二值。尽管高效，表征能力的缺乏和训练困难阻碍了 1-bit CNNs 达到与实值网络相当的性能。我们提出 Bi-Real net 及一种新颖训练算法来应对这两个挑战。为增强表征能力，我们通过无参数捷径传播每个 1-bit 卷积生成的实值激活。为解决训练困难，我们提出一种训练算法，采用对符号函数导数的更紧近似、用于权重更新的幅值感知梯度、更好的初始化方法，以及训练深度网络的两步方案。在 ImageNet 上的实验表明，采用所提训练算法的 18 层 Bi-Real net 取得了 56.4% 的 top-1 分类准确率，比最先进水平（如 XNOR-Net）高 10%，且具备更大的内存节省和更低的计算成本。Bi-Real net 也是首个将 1-bit CNNs 扩展到 152 层超深网络者，并在 ImageNet 上取得 64.5% 的 top-1 准确率。一个 50 层 Bi-Real net 在深度估计任务上展现出与实值网络相当的性能，仅有 0.3% 的准确率差距。
引用
@article{arxiv.1811.01335,
title = {Bi-Real Net: Binarizing Deep Network Towards Real-Network Performance},
author = {Zechun Liu and Wenhan Luo and Baoyuan Wu and Xin Yang and Wei Liu and Kwang-Ting Cheng},
journal= {arXiv preprint arXiv:1811.01335},
year = {2019}
}
备注
To appear in IJCV. It is the journal extension of our ECCV paper: arXiv:1808.00278. Codes are available on: https://github.com/liuzechun/Bi-Real-net