基于渐进式ADMM实现极低比特且无损精度的深度神经网络
机器学习
2019-05-03 v1 计算机视觉与模式识别
机器学习
摘要
权重量化是深度神经网络(DNNs)模型压缩方法中最重要的技术之一。近期一项利用ADMM(交替方向乘子法)先进优化算法的DNN权重量化系统框架取得了权重量化领域的领先成果之一。本工作中,我们首先扩展了该基于ADMM的框架以保证解的可行性,并进一步开发了多步、渐进式的DNN权重量化框架,具有双重优势:(i) 借助ADMM正则化的特殊性质实现进一步的权重量化;(ii) 缩减每一步内的搜索空间。大量实验结果证明了相较于先前工作的优越性能。若干亮点:我们推导出了首个无损且全二值化(所有层)的MNIST用LeNet-5;并且我们推导出了首个全二值化(所有层)的CIFAR-10用VGG-16与ImageNet用ResNet,且精度损失在合理范围内。
引用
@article{arxiv.1905.00789,
title = {Toward Extremely Low Bit and Lossless Accuracy in DNNs with Progressive ADMM},
author = {Sheng Lin and Xiaolong Ma and Shaokai Ye and Geng Yuan and Kaisheng Ma and Yanzhi Wang},
journal= {arXiv preprint arXiv:1905.00789},
year = {2019}
}
备注
Accepted by ICML workshop (ODML-CDNNR2019). arXiv admin note: substantial text overlap with arXiv:1903.09769