RepBNN：通过重复增强特征图以实现精准二值神经网络
计算机视觉与模式识别
2022-07-20 v1 人工智能
机器学习
摘要
二值神经网络(BNN)是卷积神经网络(CNNs)的极致量化版本，所有特征与权重均映射为仅1位。尽管BNN节省了大量内存与计算需求，使CNN适用于边缘或移动设备，但由于二值化后表示能力降低，BNN存在网络性能下降的问题。本文提出一种可替换且易用的卷积模块RepConv，它沿通道维度将输入或输出复制倍以增强特征图，且不增加参数数量与卷积计算开销。我们还定义了一组RepTran规则，以在BNN模块（如二值卷积、全连接层和批归一化）中全程使用RepConv。实验表明，经RepTran变换后，一组高被引BNN普遍优于原始BNN版本。例如，Rep-ReCU-ResNet-20（即RepBconv增强的ReCU-ResNet-20）在CIFAR-10上的Top-1准确率达88.97%，比原始网络高1.47%。而Rep-AdamBNN-ReActNet-A在ImageNet上取得71.342%的Top-1准确率，为BNN的最新(state-of-the-art)结果。代码与模型见：https://github.com/imfinethanks/Rep_AdamBNN。
引用
@article{arxiv.2207.09049,
title = {RepBNN: towards a precise Binary Neural Network with Enhanced Feature Map via Repeating},
author = {Xulong Shi and Zhi Qi and Jiaxuan Cai and Keqi Fu and Yaru Zhao and Zan Li and Xuanyu Liu and Hao Liu},
journal= {arXiv preprint arXiv:2207.09049},
year = {2022}
}
备注
This paper has absolutely nothing to do with repvgg, rep means repeating