量化下深度神经网络的韧性
机器学习
2016-01-08 v3 神经与进化计算
摘要
通过优化权重和信号的字长，用于硬件实现的深度神经网络算法的复杂度可大幅降低。然而，当分配的比特数较小时，浮点权重的直接量化表现不佳。量化网络的重训练被提出以缓解此问题。本工作中，我们分析了对前馈深度神经网络（FFDNN）和卷积神经网络（CNN）进行重训练的效果。通过控制网络复杂度来了解其对通过重训练获得的量化网络韧性的影响。FFDNN 的复杂度通过变更各隐藏层单元数和层数来控制，而 CNN 的复杂度则通过修改特征图配置来控制。我们发现，在“复杂度受限”网络中，浮点与基于重训练的三元（+1, 0, -1）权重神经网络之间存在相当大的性能差距，但在完全复杂的网络中该差异几乎消失，后者的能力受训练数据而非连接数限制。本研究表明，高度复杂的 DNN 能够通过重训练吸收严重权重量化的影响，但连接受限网络的韧性较差。本文还给出了有效压缩比，以在硬件资源受限时指导网络规模与精度之间的权衡。
引用
@article{arxiv.1511.06488,
title = {Resiliency of Deep Neural Networks under Quantization},
author = {Wonyong Sung and Sungho Shin and Kyuyeon Hwang},
journal= {arXiv preprint arXiv:1511.06488},
year = {2016}
}