面向神经网络的自动稀疏连接学习
计算机视觉与模式识别
2022-01-14 v1 人工智能
机器学习
摘要
由于稀疏神经网络通常包含许多零权重，这些不必要的网络连接有可能被消除而不降低网络性能。因此，设计良好的稀疏神经网络有潜力显著减少 FLOPs 与计算资源。在本工作中，我们提出一种新的自动剪枝方法——稀疏连接学习 (SCL)。具体而言，权重被重参数化为可训练权重变量与二值掩码的元素级乘积。因此，网络连接由二值掩码完全描述，该掩码由单位阶跃函数调制。我们从理论上证明了使用直通估计器 (STE) 进行网络剪枝的基本原理。该原理是 STE 的代理梯度应为正，以确保掩码变量收敛于其极小值。在发现 Leaky ReLU、Softplus 和 Identity STE 能满足此原理后，我们提出在 SCL 中采用 Identity STE 进行离散掩码松弛。我们发现不同特征的掩码梯度非常不平衡，因此提出对每特征的掩码梯度进行归一化以优化掩码变量训练。为了自动训练稀疏掩码，我们将网络连接总数作为正则项纳入目标函数。由于 SCL 不需要由设计者定义的针对网络层的剪枝准则或超参数，网络在更大的假设空间中探索，以实现最佳性能下的优化稀疏连接。SCL 克服了现有自动剪枝方法的局限。实验结果表明，SCL 能自动学习并选择各种基线网络结构的重要连接。由 SCL 训练的深度学习模型在稀疏性、准确率和 FLOPs 降低方面优于 SOTA 的人工设计与自动剪枝方法。
引用
@article{arxiv.2201.05020,
title = {Automatic Sparse Connectivity Learning for Neural Networks},
author = {Zhimin Tang and Linkai Luo and Bike Xie and Yiyu Zhu and Rujie Zhao and Lvqing Bi and Chao Lu},
journal= {arXiv preprint arXiv:2201.05020},
year = {2022}
}
备注
Accepted by IEEE Transactions on Neural Networks and Learning Systems (TNNLS)