用于离散化神经网络的可松弛量化
机器学习
2018-10-05 v1 机器学习
摘要
神经网络量化因对在资源受限设备上部署大型模型具有重大影响而成为一个重要的研究领域。为了训练能够有效离散化且不损失性能的网络，我们引入了一种可微分的量化过程。可通过将网络权重和激活上的连续分布转换为量化网格上的分类分布来实现可微性。这些分布随后被松弛为连续的代理变量，从而允许高效的基于梯度的优化。我们进一步表明，随机舍入可视为所提方法的一个特例，并且在该表述下，量化网格本身也可以用梯度下降进行优化。我们在 MNIST、CIFAR 10 和 Imagenet 分类上实验验证了方法的性能。
引用
@article{arxiv.1810.01875,
title = {Relaxed Quantization for Discretized Neural Networks},
author = {Christos Louizos and Matthias Reisser and Tijmen Blankevoort and Efstratios Gavves and Max Welling},
journal= {arXiv preprint arXiv:1810.01875},
year = {2018}
}