基于位平面编码的输入层二值化
机器学习
2023-05-05 v1 计算机视觉与模式识别
摘要
二值神经网络（BNNs）使用 1-bit 权重和激活，以在边缘设备上高效执行深度卷积神经网络。然而，第一层的二值化通常被排除在外，因为它会导致较大的精度损失。少数研究第一层二值化的工作通常通过增加输入通道数来增强数据表示；这种数据扩展增加了所需操作量，并且仅在具有足够计算资源的系统上才可行。在本工作中，我们提出了一种直接使用输入数据的 8-bit 表示来二值化第一层的新方法；我们利用标准的位平面（bit-planes）编码逐位提取特征（使用深度可分离卷积）；在经过重新加权阶段后，特征被再次融合。所得模型完全二值化，且我们的第一层二值化方法是模型无关的。该概念在三个分类数据集（CIFAR10、SVHN 和 CIFAR100）上针对不同的模型架构（VGG 和 ResNet）进行了评估，并且所提出的技术在精度和 BMACs 降低方面均优于当前最优（state of the art）方法。
引用
@article{arxiv.2305.02885,
title = {Input Layer Binarization with Bit-Plane Encoding},
author = {Lorenzo Vorabbi and Davide Maltoni and Stefano Santi},
journal= {arXiv preprint arXiv:2305.02885},
year = {2023}
}