MeliusNet：二值神经网络能否达到 MobileNet 级别的精度？
机器学习
2020-03-25 v2 计算机视觉与模式识别
机器学习
摘要
二值神经网络（BNNs）是使用二值权重和激活而非典型 32 位浮点值的神经网络。它们减小了模型尺寸，并允许在功率和计算资源受限的移动或嵌入式设备上进行高效推理。然而，权重和激活的二值化导致特征图质量更低、容量更小，因此与传统网络相比精度下降。先前的工作通过增加通道数或使用多个二值基来缓解这些问题。在本文中，我们转而提出一种架构方法：MeliusNet。它由交替的 DenseBlock（增加特征容量）和我们提出的 ImprovementBlock（提高特征质量）组成。在 ImageNet 数据集上的实验证明了我们的 MeliusNet 相对于各种流行二值架构在计算节省和精度方面的优越性能。此外，使用我们的方法训练的 BNN 模型首次能够在模型尺寸、操作数和精度方面匹配流行的紧凑网络 MobileNet-v1 的精度。我们的代码发布于 https://github.com/hpi-xnor/BMXNet-v2。
引用
@article{arxiv.2001.05936,
title = {MeliusNet: Can Binary Neural Networks Achieve MobileNet-level Accuracy?},
author = {Joseph Bethge and Christian Bartz and Haojin Yang and Ying Chen and Christoph Meinel},
journal= {arXiv preprint arXiv:2001.05936},
year = {2020}
}