WaveQ：基于梯度的深度量化神经网络正弦自适应正则化方法
机器学习
2020-04-27 v2 机器学习
摘要
随着深度神经网络进入不同领域，其计算效率正成为首要约束。深度量化将运算位宽降低（低于 8 位），提供了独特机遇，因为它可超线性地减少网络的存储与计算需求。然而，若不加审慎，这会导致显著的精度损失。由于层间强相互依赖且在同一网络中表现出不同特性，逐层选择最优位宽并非易事。因此，深度量化开启了巨大的超参数空间，探索该空间是一大挑战。我们提出一种新颖的正弦正则化方法，称为 SINAREQ，用于深度量化训练。利用正弦性质，我们力求在基于梯度的训练过程中联合学习多种量化参数化。具体而言，我们学习（i）逐层量化位宽以及（ii）通过学习的正弦函数周期得到的缩放因子。同时，我们利用正弦函数的周期性、可微性与局部凸性轮廓，自动推动（iii）网络权重朝向由联合确定的电平量化的取值。我们展示了 SINAREQ 如何平衡计算效率与精度，并为多种深度网络（AlexNet、CIFAR-10、MobileNet、ResNet-18、ResNet-20、SVHN 和 VGG-11）的量化提供异构位宽分配，几乎保持精度。此外，我们使用 3 至 5 位固定的同质位宽进行实验，展示了 SINAREQ 在增强量化训练算法（DoReFa 和 WRPN）方面的通用性，平均精度提升约 4.8%，并优于多种最先进（SOTA）技术。
引用
@article{arxiv.2003.00146,
title = {WaveQ: Gradient-Based Deep Quantization of Neural Networks through Sinusoidal Adaptive Regularization},
author = {Ahmed T. Elthakeb and Prannoy Pilligundla and Fatemehsadat Mireshghallah and Tarek Elgindi and Charles-Alban Deledalle and Hadi Esmaeilzadeh},
journal= {arXiv preprint arXiv:2003.00146},
year = {2020}
}
备注
Preliminary work. Under review