SYMOG：学习高斯模态对称混合以改进定点量化
机器学习
2020-10-20 v1 计算机视觉与模式识别
摘要
深度神经网络（DNNs）已被证明在多个机器学习基准上优于经典方法。然而，它们具有高计算复杂度并需要强大的处理单元。尤其在部署于嵌入式系统时，模型规模与推理时间必须大幅缩减。我们提出 SYMOG（高斯模态对称混合），通过低比特定点量化显著降低 DNNs 的复杂度。SYMOG 是一种新颖的软量化方法，使得学习任务与量化同时求解。训练期间权重分布从单模态高斯分布变为高斯对称混合，其中每个均值属于特定的定点模态。我们在常见基准数据集（MNIST、CIFAR-10、CIFAR-100）上以不同架构（LeNet5、VGG7、VGG11、DenseNet）评估我们的方法，并与最先进的量化方法比较。我们取得了优异结果，在 CIFAR-10 上以仅 5.71% 的错误率和 CIFAR-100 上 27.65% 的错误率超越了 2-bit 最先进性能。
引用
@article{arxiv.2002.08204,
title = {SYMOG: learning symmetric mixture of Gaussian modes for improved fixed-point quantization},
author = {Lukas Enderich and Fabian Timm and Wolfram Burgard},
journal= {arXiv preprint arXiv:2002.08204},
year = {2020}
}
备注
Preprint submitted to Neurocomputing