亚比特神经网络：学习压缩与加速二值神经网络
计算机视觉与模式识别
2021-10-19 v1
摘要
在低比特量化领域，训练二值神经网络（Binary Neural Networks, BNNs）是在资源受限设备上部署深度模型的极端解决方案，与32位浮点对应物相比，其具有最低的存储成本和显著更廉价的按位运算。在本文中，我们引入了亚比特神经网络（Sub-bit Neural Networks, SNNs），这是一种专为压缩和加速BNNs而设计的新型二值量化方案。SNNs的灵感来自一个经验观察，即BNN模型卷积层学习到的二值核倾向于分布在核子集上。因此，与逐个二值化权重的现有方法不同，SNNs采用核感知优化框架进行训练，该框架在细粒度卷积核空间中利用二值量化。具体而言，我们的方法包括一个随机采样步骤，用于生成核空间的层特定子集，以及一个细化步骤，通过优化学习调整这些二值核子集。在视觉识别基准上的实验和FPGA上的硬件部署验证了SNNs的巨大潜力。例如，在ImageNet上，具有0.56比特权重的ResNet-18/ResNet-34的SNNs实现了3.13/3.33倍的运行时加速和相对传统BNNs 1.8倍的压缩，且识别精度仅有适度下降。将SNNs应用于同时对权重和激活进行二值化时，也获得了有希望的结果。我们的代码可在 https://github.com/yikaiw/SNN 获取。
引用
@article{arxiv.2110.09195,
title = {Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks},
author = {Yikai Wang and Yi Yang and Fuchun Sun and Anbang Yao},
journal= {arXiv preprint arXiv:2110.09195},
year = {2021}
}
备注
ICCV 2021. Code and models: https://github.com/yikaiw/SNN