利用张量秩的弹性压缩神经网络
机器学习
2021-05-11 v1
摘要
在压缩深度神经网络（DNN）中，深度、宽度、卷积核尺寸和分辨率方面的弹性已被广泛探索。认识到卷积神经网络（CNN）中的卷积核是四阶张量，我们进一步利用了沿输入-输出通道的新的弹性维度。具体而言，提出了一种新颖的核范数秩最小化分解（NRMF）方法，在训练过程中动态且全局地搜索约简后的张量秩。揭示了多层间张量秩的相关性，并获得了模型大小与精度之间的平缓权衡。实验随后显示了 NRMF 相对于先前非弹性变分贝叶斯矩阵分解（VBMF）方案的优越性。
引用
@article{arxiv.2105.04218,
title = {Exploiting Elasticity in Tensor Ranks for Compressing Neural Networks},
author = {Jie Ran and Rui Lin and Hayden K. H. So and Graziano Chesi and Ngai Wong},
journal= {arXiv preprint arXiv:2105.04218},
year = {2021}
}
备注
8 pages, 5 figures