双稀疏训练框架：通过变换$\ell1$正则化诱导激活图稀疏性
计算机视觉与模式识别
2024-05-31 v1
摘要
尽管深度卷积神经网络取得了快速发展，但由于计算和存储限制，将这些模型广泛推广并应用于低功耗设备具有挑战性。为解决此问题，研究人员提出了模型压缩、激活稀疏性诱导和硬件加速器等技术。本文提出了一种基于变换正则化诱导激活图稀疏性的方法，以改进激活稀疏性诱导领域的研究。此外，该方法创新性地与传统剪枝相结合，构成了双稀疏训练框架。与先前方法相比，变换可以实现更高的稀疏性，并更好地适应不同的网络结构。实验结果表明，该方法在大多数模型和相应数据集上，在不牺牲准确率的情况下，激活图稀疏性提升了超过20%。具体而言，在ImageNet数据集上ResNet18提升了27.52%，在MNIST数据集上LeNet5提升了44.04%。此外，双稀疏训练框架可以大幅减少计算量，并为运行时减少所需存储提供潜力。具体而言，通过双稀疏训练框架获得的ResNet18和ResNet50模型分别减少了81.7%和84.13%的乘法浮点运算，同时保持了准确率和较低的剪枝率。
引用
@article{arxiv.2405.19652,
title = {Dual sparse training framework: inducing activation map sparsity via Transformed $\ell1$ regularization},
author = {Xiaolong Yu and Cong Tian},
journal= {arXiv preprint arXiv:2405.19652},
year = {2024}
}