ReCU：唤醒二值神经网络中的死权重
机器学习
2021-08-03 v2 计算机视觉与模式识别
摘要
二值神经网络（BNNs）因其在计算和内存上的显著缩减而受到越来越多的关注。现有大多数工作要么通过最小化全精度权重与其二值化之间的差距来减小量化误差，要么设计梯度近似以缓解梯度失配，却未触及“死权重”。这导致训练 BNNs 时收敛缓慢。本文首次探究了“死权重”的影响，其指在 BNNs 训练过程中几乎不更新的权重组，并引入修正钳位单元（ReCU）来唤醒“死权重”以进行更新。我们证明，通过 ReCU 唤醒“死权重”可得到更小的量化误差。此外，我们还考虑了权重的信息熵，并从数学上分析了权重标准化为何有益于 BNNs。我们揭示了最小化量化误差与最大化信息熵之间的内在矛盾，进而提出一种自适应指数调度器来界定“死权重”的范围。通过考虑“死权重”，与近期方法相比，我们的方法不仅实现了更快的 BNN 训练，还在 CIFAR-10 和 ImageNet 上取得了最先进的性能。代码可在 https://github.com/z-hXu/ReCU 获取。
引用
@article{arxiv.2103.12369,
title = {ReCU: Reviving the Dead Weights in Binary Neural Networks},
author = {Zihan Xu and Mingbao Lin and Jianzhuang Liu and Jie Chen and Ling Shao and Yue Gao and Yonghong Tian and Rongrong Ji},
journal= {arXiv preprint arXiv:2103.12369},
year = {2021}
}
备注
Accepted by International Conference on Computer Vision 2021 (ICCV 2021)