ReActNet:基于广义激活函数的高精度二值神经网络
计算机视觉与模式识别
2020-07-14 v2 机器学习
图像与视频处理
摘要
在本文中,我们提出了若干增强二值网络以缩小其与实值网络精度差距的思路,且不带来任何额外计算开销。我们首先通过修改并二值化一个带有无参数捷径的紧凑实值网络来构建基线网络,该捷径绕过所有中间卷积层(包括下采样层)。该基线网络在精度与效率之间取得了良好权衡,以约一半的计算成本实现了优于大多数现有二值网络的性能。通过大量实验与分析,我们观察到二值网络的性能对激活分布的变化十分敏感。基于这一重要观察,我们提出推广传统的 Sign 与 PReLU 函数,分别记为 RSign 与 RPReLU,以在近零额外成本下显式学习分布的整形与偏移。最后,我们采用分布损失进一步强制二值网络学习类似于实值网络的输出分布。我们表明,在融入所有这些思路后,所提出的 ReActNet 大幅优于所有现有最优方法。具体而言,在 ImageNet 数据集上,其 top-1 准确率分别比 Real-to-Binary Net 和 MeliusNet29 高出 4.0% 与 3.6%,并将与其实值对应网络的差距缩小到 3.0% 以内的 top-1 准确率。代码与模型见:https://github.com/liuzechun/ReActNet。
引用
@article{arxiv.2003.03488,
title = {ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions},
author = {Zechun Liu and Zhiqiang Shen and Marios Savvides and Kwang-Ting Cheng},
journal= {arXiv preprint arXiv:2003.03488},
year = {2020}
}
备注
Accepted to ECCV 2020. Code is available at: https://github.com/liuzechun/ReActNet