随机马尔可夫梯度下降与低比特神经网络训练
机器学习
2020-12-23 v2 最优化与控制
机器学习
摘要
现代神经网络的巨大规模激发了近期对神经网络量化的浓厚兴趣。我们引入随机马尔可夫梯度下降(SMGD)，一种适用于训练量化神经网络的离散优化方法。SMGD 算法专为训练期间内存高度受限的场景而设计。我们提供了算法性能的理论保证以及令人鼓舞的数值结果。
关键词
引用
@article{arxiv.2008.11117,
title = {Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks},
author = {Jonathan Ashbrock and Alexander M. Powell},
journal= {arXiv preprint arXiv:2008.11117},
year = {2020}
}
备注
19 pages, 2 figures