一种基于量化神经网络权重的符号级预编码内存高效学习框架
信号处理
2021-11-30 v2
摘要
本文提出了一种基于内存高效深度神经网络(DNN)框架的符号级预编码(SLP)。我们关注具有实际有限精度权重的DNN,并采用一种基于无监督深度学习(DL)的SLP模型(SLP-DNet)。我们应用随机量化(SQ)技术获得其对应的量化版本,称为SLP-SQDNet。所提方案通过对可缩放比例的DNN权重进行量化,提供了可扩展的性能与内存权衡,并且我们探讨了二值化和三值化量化。我们的结果表明,虽然SLP-DNet提供了近最优性能,但其通过SQ得到的量化版本对于基于二值和基于三值的SLP-SQDNets分别实现了3.46倍和2.64倍的模型压缩。我们还发现,与基于SLP优化和SLP-DNet的方法相比,我们的方案分别提供了20倍和10倍的计算复杂度降低。
引用
@article{arxiv.2110.06542,
title = {A Memory-Efficient Learning Framework for SymbolLevel Precoding with Quantized NN Weights},
author = {Abdullahi Mohammad and Christos Masouros and Yiannis Andreopoulos},
journal= {arXiv preprint arXiv:2110.06542},
year = {2021}
}
备注
13 pages, 10 figures, Journal