基于二值权重与低精度激活的紧凑神经网络训练
计算机视觉与模式识别
2018-08-09 v1
摘要
在本文中，我们提出训练具有二值权重和低比特宽度激活的网络，专为功耗受限的移动设备设计。大多数先前关于CNN量化的工作不加批判地假设相同架构，尽管精度降低。然而，我们认为为获得最佳性能，不同架构可能（甚至很可能）更适合处理低精度权重和激活。具体而言，我们提出一种“网络扩展”策略，聚合一组同构低精度分支以隐式重建全精度中间特征图。此外，我们还提出一种分组特征近似策略，其非常灵活且高度准确。在ImageNet分类任务上的实验证明了所提模型（命名为Group-Net）相对于各种流行架构的优越性能。特别地，在二值权重和激活下，我们在准确率方面优于先前最佳二值神经网络，并且在ImageNet上以ResNet-18和ResNet-50节省超过5倍计算复杂度。
引用
@article{arxiv.1808.02631,
title = {Training Compact Neural Networks with Binary Weights and Low Precision Activations},
author = {Bohan Zhuang and Chunhua Shen and Ian Reid},
journal= {arXiv preprint arXiv:1808.02631},
year = {2018}
}