神经网络缓解：一种基于神经活动的剪枝算法
机器学习
2024-03-06 v3 计算机视觉与模式识别
摘要
当前的深度神经网络（DNNs）存在过度参数化问题，并且在每个任务的推理过程中使用其大部分神经元连接。然而，人脑针对不同的任务演化出了专门区域，并以极小比例的神经元连接进行推理。我们提出一种迭代剪枝策略，引入简单的显著性评分度量来停用不重要的连接，以解决DNNs中的过度参数化问题并调节放电模式。目标是找到仍能以可比精度解决给定任务的最小连接数，即更简单的子网络。我们在MNIST上的LeNet架构取得了可比性能，并且相对于VGG和ResNet架构在CIFAR-10/100和Tiny-ImageNet上的最先进算法实现了显著更高的参数压缩率。我们的方法在考虑的两类不同优化器——Adam和SGD下也表现良好。该算法并非旨在考虑当前硬件和软件实现时最小化FLOPs，尽管与最先进水平相比表现合理。
引用
@article{arxiv.2109.10795,
title = {Neural network relief: a pruning algorithm based on neural activity},
author = {Aleksandr Dekhovich and David M. J. Tax and Marcel H. F. Sluiter and Miguel A. Bessa},
journal= {arXiv preprint arXiv:2109.10795},
year = {2024}
}