Lookahead：一种基于幅值剪枝的远见替代方法
机器学习
2020-02-17 v1 机器学习
摘要
基于幅值的剪枝是剪枝神经网络最简单的方法之一。尽管简单，基于幅值的剪枝及其变体在现代架构的剪枝中展现了显著性能。基于观察到基于幅值的剪枝实际上最小化了对应于单层的线性算子的 Frobenius 失真，我们通过将单层优化扩展为多层的优化，开发了一种简单的剪枝方法，称为 lookahead 剪枝。我们的实验结果表明，所提方法在各种网络（包括 VGG 和 ResNet）上始终优于基于幅值的剪枝，尤其是在高稀疏度 regime。代码见 https://github.com/alinlab/lookahead_pruning。
引用
@article{arxiv.2002.04809,
title = {Lookahead: A Far-Sighted Alternative of Magnitude-based Pruning},
author = {Sejun Park and Jaeho Lee and Sangwoo Mo and Jinwoo Shin},
journal= {arXiv preprint arXiv:2002.04809},
year = {2020}
}
备注
ICLR 2020, camera ready