面向嵌入式系统的无批归一化层单比特每权重深度卷积神经网络
机器学习
2019-07-23 v2 计算机视觉与模式识别
神经与进化计算
机器学习
摘要
批归一化（BN）层被认为是当今最先进的深度卷积神经网络中用于分类与检测等计算机视觉任务的一类不可或缺的重要层。然而，BN 层引入了复杂性与计算开销，对于无人机、机器人和物联网（IoT）设备等实时嵌入式视觉系统低功耗定制硬件实现上的训练及/或推理极为不利。当训练时批大小需极小时，它们也会带来问题，且比 BN 层更晚引入的残差连接等创新可能已减弱了其影响。本文旨在量化 BN 层在图像分类网络中相较于其他选择所带来的益处。特别地，我们研究使用 shifted-ReLU 层替代 BN 层的网络。通过对应用于 ImageNet、CIFAR 10 和 CIFAR 100 图像分类数据集的宽残差网络进行实验，我们发现 BN 层并未持续提供显著优势。我们发现 BN 层带来的准确率优势取决于数据集、网络规模和权重的位宽。我们得出结论：在因速度、内存或复杂性成本而不希望使用 BN 层的情况下，应考虑改用 shifted-ReLU 层；我们发现它们在这些方面均可提供优势，且通常不会带来显著的准确率代价。
引用
@article{arxiv.1907.06916,
title = {Single-bit-per-weight deep convolutional neural networks without batch-normalization layers for embedded systems},
author = {Mark D. McDonnell and Hesham Mostafa and Runchun Wang and Andre van Schaik},
journal= {arXiv preprint arXiv:1907.06916},
year = {2019}
}
备注
8 pages, published IEEE conference paper