面向高效神经网络剪枝的激活与权重联合正则化
机器学习
2019-09-16 v2 机器学习
摘要
随着深度神经网络（DNNs）的快速扩展，为提升部署效率，关于权重剪枝等网络模型压缩的广泛研究已然展开。本工作旨在将压缩从权重推进到神经元激活。我们提出联合正则化技术，同时调节权重与激活的分布。通过在学习过程中区分并利用神经元响应与连接间的重要性差异，联合剪枝后的网络（即 \textit{JPnet}）优化了激活与权重的稀疏性以提升执行效率。JPnet 所衍生的深度稀疏化，为现有专用于稀疏矩阵运算的 DNN 加速器揭示了更多优化空间。我们通过具有不同激活函数的多种网络模型及在不同数据集上的实验，全面评估了联合正则化的有效性。在推理精度退化约束为 下，与原稠密模型相比，JPnet 可节省 的计算开销，激活与权重数量分别最多减少 和 。
引用
@article{arxiv.1906.07875,
title = {Joint Regularization on Activations and Weights for Efficient Neural Network Pruning},
author = {Qing Yang and Wei Wen and Zuoguan Wang and Hai Li},
journal= {arXiv preprint arXiv:1906.07875},
year = {2019}
}