NeST：基于生长-剪枝范式的神经网络综合工具
神经与进化计算
2018-06-04 v3 人工智能
计算机视觉与模式识别
摘要
深度神经网络（DNNs）已开始对机器学习的各种应用产生普遍影响。然而，为大型应用寻找最优 DNN 架构的问题具有挑战性。常见方法倾向于更深更大的 DNN 架构，但可能带来大量冗余。为解决这些问题，我们引入了一种网络生长算法，作为网络剪枝的补充，以在训练期间同时学习权重和紧凑的 DNN 架构。我们提出了一种 DNN 综合工具（NeST），它结合这两种方法以自动生成紧凑且准确的 DNN。NeST 从一个称为种子架构的随机初始化稀疏网络开始。它通过基于梯度的神经元与连接生长以及基于幅度的剪枝来迭代调整架构。我们的实验结果表明，NeST 能生成准确但非常紧凑的 DNN，且具有广泛的种子架构选择范围。对于 LeNet-300-100（LeNet-5）架构，我们将网络参数量减少了 70.2 倍（74.3 倍），浮点运算（FLOPs）减少了 79.4 倍（43.7 倍）。对于 AlexNet 和 VGG-16 架构，我们将网络参数（FLOPs）分别减少了 15.7 倍（4.6 倍）和 30.2 倍（8.6 倍）。NeST 的生长-剪枝范式相对于仅剪枝方法带来了显著的额外参数和 FLOPs 缩减。
引用
@article{arxiv.1711.02017,
title = {NeST: A Neural Network Synthesis Tool Based on a Grow-and-Prune Paradigm},
author = {Xiaoliang Dai and Hongxu Yin and Niraj K. Jha},
journal= {arXiv preprint arXiv:1711.02017},
year = {2018}
}