基于 Turbo-VBI 方法的深度神经网络结构化贝叶斯压缩
机器学习
2023-04-12 v1
摘要
随着神经网络规模的增长，模型压缩在近年的研究中引起了越来越多的关注。作为最常见的技术之一，剪枝已被研究很长时间。通过利用神经网络的结构化稀疏性，现有方法可以剪除神经元而非单个权重。然而，在大多数现有剪枝方法中，存活神经元在网络中无结构地随机连接，且每个神经元内的非零权重也随机分布。这种不规则稀疏结构会给硬件带来极高的控制开销与不规则内存访问，甚至增加神经网络计算复杂度。本文中，我们提出一种三层层次先验，以在剪枝过程中促进更规则的稀疏结构。所提出的三层层次先验可实现每神经元权重级结构化稀疏与神经元级结构化稀疏。我们推导出一种高效的 Turbo 变分贝叶斯推断（Turbo-VBI）算法，以求解带该先验的模型压缩问题。所提出的 Turbo-VBI 算法复杂度低，且相比现有模型压缩算法可支持更通用的先验。仿真结果表明，与基线相比，我们所提算法能在剪枝后的神经网络中促进更规则的结构，同时在压缩率和推断精度方面取得更优性能。
引用
@article{arxiv.2302.10483,
title = {Structured Bayesian Compression for Deep Neural Networks Based on The Turbo-VBI Approach},
author = {Chengyu Xia and Danny H. K. Tsang and Vincent K. N. Lau},
journal= {arXiv preprint arXiv:2302.10483},
year = {2023}
}