一种随机三块分裂算法及其在量化深度神经网络中的应用
最优化与控制
2022-04-26 v1
摘要
深度神经网络（DNNs）已在多个领域取得重大进展。其中，量化神经网络是一种很有前景的技术，可使DNNs在资源受限设备上兼容以节省内存与计算量。本文主要考虑一个含三块的非凸最小化模型来训练量化DNNs，并提出一种新的随机三块交替最小化（STAM）算法来求解该模型。我们建立了STAM算法的收敛理论，并以最优收敛速率获得一个-平稳点。此外，我们将STAM算法应用于训练具有松弛二值权重的DNNs。实验在VGG-11、VGG-16和ResNet-18三种不同网络结构上开展，这些DNNs分别使用CIFAR-10和CIFAR-100两个不同数据集进行训练。我们将STAM算法与一些用于训练量化神经网络的经典高效算法进行比较，测试准确率表明了STAM算法在训练松弛二值量化DNNs方面的有效性。
引用
@article{arxiv.2204.11065,
title = {A stochastic three-block splitting algorithm and its application to quantized deep neural networks},
author = {Fengmiao Bian and Ren Liu and Xiaoqun Zhang},
journal= {arXiv preprint arXiv:2204.11065},
year = {2022}
}