基于梯度采样优化的残差神经网络鲁棒剪枝
机器学习
2024-04-30 v3
摘要
本研究开创性地将梯度采样优化技术（特别是StochGradAdam）集成到神经网络的剪枝过程中。我们的主要目标是解决在资源受限场景中保持剪枝后神经模型准确性的重大挑战。通过大量实验，我们证明与传统优化方法相比，梯度采样在剪枝过程中及之后显著保持了准确性。我们的研究强调了梯度采样在鲁棒学习以及在模型大幅简化后保持关键信息方面的关键作用。在CIFAR-10数据集和残差神经架构上的结果验证了我们方法的通用性和有效性。这项工作为开发高效神经网络而不牺牲性能（即使在计算资源有限的环境中）提供了一个有前景的方向。
引用
@article{arxiv.2312.16020,
title = {Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks},
author = {Juyoung Yun},
journal= {arXiv preprint arXiv:2312.16020},
year = {2024}
}