利用分段近似实现无损二值卷积神经网络
计算机视觉与模式识别
2020-09-01 v2
摘要
二值卷积神经网络（CNNs）能显著减少算术运算数量和内存存储大小，这使得 CNNs 在移动或嵌入式系统上的部署更具前景。然而，对于现代架构和 ImageNet 等大规模数据集，单二值和多二值 CNNs 的精度下降是不可接受的。在本文中，我们提出了一种用于多二值 CNNs 的分段近似（PA）方案，该方案通过高效近似全精度权重和激活来减少精度损失，并保持按位运算的并行性以保证效率。与以往方法不同，所提出的 PA 方案将全精度权重和激活分段，并用缩放系数近似每一段。我们在 ImageNet 上对不同深度的 ResNet 的实现可将 Top-1 和 Top-5 分类精度与全精度的差距均缩小至约 1.0%。受益于下采样层的二值化，我们提出的 PA-ResNet50 相比具有 4 个权重基和 5 个激活基的单二值 CNNs 需要更少的内存占用和两倍的 Flops。该 PA 方案也可推广至 DenseNet 和 MobileNet 等其他架构，其近似能力与 ResNet 相似，这对于使用二值卷积的其他任务颇具前景。代码与预训练模型将公开可用。
引用
@article{arxiv.2008.03520,
title = {Towards Lossless Binary Convolutional Neural Networks Using Piecewise Approximation},
author = {Baozhou Zhu and Zaid Al-Ars and Wei Pan},
journal= {arXiv preprint arXiv:2008.03520},
year = {2020}
}