利用组包络正则化学习k层结构化稀疏神经网络
机器学习
2024-08-27 v4 机器学习
摘要
对计算资源的广泛需求对在资源受限设备上部署大规模深度神经网络(DNN)构成了显著障碍。同时,研究表明这些DNN参数中有大量是冗余且无关的。本文提出一种用于学习结构化稀疏神经网络的新方法,旨在弥合DNN硬件部署挑战。我们开发了一种称为加权组稀疏包络函数(WGSEF)的新型正则化技术,它推广了稀疏包络函数(SEF),用于选择(或置零)神经元组,从而减少冗余并提升计算效率。该方法加快了推理时间,并旨在降低内存需求和功耗,其适应性允许任何硬件指定组定义,例如滤波器、通道、滤波器形状、层深度、单个参数(非结构化)等。WGSEF的性质使得能够在训练收敛时预先定义并实现期望的稀疏度水平。在存在冗余参数的情况下,该方法保持可忽略的网络精度下降,甚至可带来精度提升。我们的方法以相对于组变量数量的最坏情况线性复杂度高效计算WGSEF正则化器及其邻近算子。采用基于邻近梯度的优化技术训练模型,解决了包含神经网络损失与WGSEF的非凸最小化问题。最后,我们通过实验展示了所提方法在压缩比、精度和推理延迟方面的效率。
引用
@article{arxiv.2212.12921,
title = {Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization},
author = {Yehonathan Refael and Iftach Arbel and Wasim Huleihel},
journal= {arXiv preprint arXiv:2212.12921},
year = {2024}
}