学习权重与连接以实现高效神经网络
神经与进化计算
2015-11-03 v3 计算机视觉与模式识别
机器学习
摘要
神经网络在计算和内存上均属密集型，难以部署于嵌入式系统。此外，常规网络在训练开始前固定架构，因此训练无法改进架构。为克服这些局限，我们描述一种方法，通过仅学习重要的连接，将神经网络所需的存储与计算降低一个数量级而不影响其准确率。我们的方法采用三步法剪枝冗余连接。首先，训练网络以学习哪些连接重要。接着，剪枝不重要的连接。最后，重新训练网络以微调剩余连接的权重。在 ImageNet 数据集上，我们的方法将 AlexNet 的参数数量减少了 9 倍，从 6100 万降至 670 万，且未造成准确率损失。在 VGG-16 上的类似实验发现参数数量可减少 13 倍，从 1.38 亿降至 1030 万，同样无准确率损失。
引用
@article{arxiv.1506.02626,
title = {Learning both Weights and Connections for Efficient Neural Networks},
author = {Song Han and Jeff Pool and John Tran and William J. Dally},
journal= {arXiv preprint arXiv:1506.02626},
year = {2015}
}
备注
Published as a conference paper at NIPS 2015