SinReQ：用于低位宽深度量化训练的广义正弦正则化
机器学习
2019-12-03 v3 机器学习
摘要
神经网络深度量化（低于八位）在降低其计算和存储成本方面具有显著前景。尽管诱人，若没有专门的训练与优化技术，深度量化会导致显著的精度损失。为进一步缓解该损失，我们提出了一种称为SinReQ1的新型正弦正则化方法，用于深度量化训练。SinReQ在底层训练算法的原始目标函数中加入一个周期项。SinReQ利用正弦函数的周期性、可微性以及期望的凸性轮廓，自动将权重推向本质上更接近量化水平的值。由于该技术不需要对训练过程做侵入式修改，SinReQ能够无缝增强量化训练算法。SinReQ具有通用性与灵活性，因为它不限于特定位宽或层间位宽的均匀分配。我们使用AlexNet、CIFAR-10、ResNet-18、ResNet-20、SVHN和VGG-11等DNN，以三至五位进行量化实验，展示了SinReQ在增强多种量化训练算法（DoReFa [32] 和 WRPN [24]）方面的多用性。在所有位宽配置上的平均结果表明，SinReQ分别将这两种技术与全精度运行之间的精度差距缩小了32.4%和27.5%，即分别将DoReFa和WRPN的绝对精度提升了2.8%和2.1%。
引用
@article{arxiv.1905.01416,
title = {SinReQ: Generalized Sinusoidal Regularization for Low-Bitwidth Deep Quantized Training},
author = {Ahmed T. Elthakeb and Prannoy Pilligundla and Hadi Esmaeilzadeh},
journal= {arXiv preprint arXiv:1905.01416},
year = {2019}
}