LAB：面向二值神经网络的的可学习激活二值化器
机器学习
2022-10-26 v1 人工智能
计算机视觉与模式识别
摘要
二值神经网络（BNNs）因将耗电的深度学习推向边缘设备而受到广泛关注。该领域的传统做法是使用sign()对特征图进行二值化。我们论证并说明sign()是一个独特性瓶颈，限制了信息在网络中的传播。为缓解此问题，我们提议弃用sign()，以其可学习激活二值化器（LAB）替代，使网络可逐层学习精细的二值化核——而非全局阈值化。LAB是一种可无缝集成至现有架构的新颖通用模块。为证实这一点，我们将其植入四种开创性BNN中，并以可容忍的延迟与复杂度增加为代价展示了显著的性能提升。最后，我们围绕LAB构建了端到端BNN（称为LAB-BNN），并证明其在ImageNet上取得了与最先进水平相当的竞争性能。
引用
@article{arxiv.2210.13858,
title = {LAB: Learnable Activation Binarizer for Binary Neural Networks},
author = {Sieger Falkena and Hadi Jamali-Rad and Jan van Gemert},
journal= {arXiv preprint arXiv:2210.13858},
year = {2022}
}
备注
This paper is accepted to appear in the proceedings of WACV 2023