早退网络的剪枝
机器学习
2022-07-12 v1 计算机视觉与模式识别
神经与进化计算
摘要
性能良好的深度学习模型往往具有较高的计算成本。本文结合两种在保持模型高性能的同时降低计算成本的方法：剪枝与早退网络。我们评估了剪枝早退网络的两种策略：(1) 一次性剪枝整个网络，(2) 以有序方式剪枝基础网络与附加线性分类器。实验结果表明，一般而言一次性剪枝整个网络是更优策略。然而在高准确率下，两种策略性能相近，这意味着剪枝与早退过程可分离而不损失最优性。
引用
@article{arxiv.2207.03644,
title = {Pruning Early Exit Networks},
author = {Alperen Görmez and Erdem Koyuncu},
journal= {arXiv preprint arXiv:2207.03644},
year = {2022}
}
备注
5 pages, 3 figures, Sparsity in Neural Networks Workshop 2022