基于梯度下降的神经网络剪枝
机器学习
2023-11-23 v2 人工智能
摘要
深度学习模型参数量的快速增长带来了显著成本，对计算效率和模型可解释性提出挑战。本文引入一种新颖且简洁的神经网络剪枝框架，其融合了Gumbel-Softmax技术。该框架通过随机梯度下降以端到端过程同时优化网络权重与拓扑。实证结果表明其具备卓越的压缩能力，仅用原始网络参数的0.15%即在MNIST数据集上保持高准确率。此外，我们的框架增强了神经网络可解释性，不仅可直接从剪枝网络轻松提取特征重要性，还能可视化特征对称性及从特征到结果的信息传播路径。尽管剪枝策略通过深度学习习得，它却出人意料地直观易懂，侧重于选取关键代表性特征并利用数据模式实现极度稀疏剪枝。我们相信该方法为深度学习剪枝及可解释机器学习系统的构建开辟了有前景的新途径。
引用
@article{arxiv.2311.12526,
title = {Neural Network Pruning by Gradient Descent},
author = {Zhang Zhang and Ruyi Tao and Jiang Zhang},
journal= {arXiv preprint arXiv:2311.12526},
year = {2023}
}
备注
21 pages, 5 figures