BitSplit-Net：具有按位激活函数的多位深度神经网络
神经与进化计算
2019-03-26 v1 计算机视觉与模式识别
机器学习
摘要
深度神经网络巨大的计算成本和内存需求使得在资源受限的环境中难以利用 DNN。二值神经网络使用二值权重和二值激活，因其对硬件友好的特性和极低的资源需求而备受关注。然而，BNN 通常会面临精度下降的问题。在本文中，我们引入了“BitSplit-Net”，这是一种在保持 BNN 硬件友好特性的同时，通过使用多位精度来提高准确率的神经网络。在 BitSplit-Net 中，多位激活的每一位在网络中独立传播，最后在网络末端合并。因此，BitSplit-Net 的每个位路径都类似于 BNN，并且 BNN 的硬件友好特性（如按位二值激活函数）在我们的方案中得到了保留。我们证明了，与具有低位精度（<= 4 位）的传统多位网络相比，LeNet-5、VGG-9、AlexNet 和 ResNet-18 的 BitSplit 版本可以以更低的计算成本训练出相似的分类准确率。我们进一步在带有自定义 CUDA 内核的 GPU 上评估了 BitSplit-Net，结果表明与传统多位网络相比，BitSplit-Net 可以实现更好的硬件性能。
引用
@article{arxiv.1903.09807,
title = {BitSplit-Net: Multi-bit Deep Neural Network with Bitwise Activation Function},
author = {Hyungjun Kim and Yulhwa Kim and Sungju Ryu and Jae-Joon Kim},
journal= {arXiv preprint arXiv:1903.09807},
year = {2019}
}