基于判别性图像块初始化时的一次性网络剪枝
计算机视觉与模式识别
2022-10-05 v2 人工智能
机器学习
摘要
初始化时的一次性网络剪枝(OPaI)是一种降低网络剪枝成本的有效方法。近来,越来越多的人认为在 OPaI 中数据是不必要的。然而,我们通过两种代表性 OPaI 方法 SNIP 和 GraSP 中的消融实验得出了相反的结论。具体而言,我们发现信息丰富的数据对提升剪枝性能至关重要。本文提出两种新方法,判别性一次性网络剪枝(DOP)和 Super Stitching,通过高层视觉判别性图像块对网络进行剪枝。我们的贡献如下:(1) 大量实验表明 OPaI 是数据依赖的。(2) Super Stitching 在基准 ImageNet 上显著优于原始 OPaI 方法,尤其是在高度压缩的模型中。
引用
@article{arxiv.2209.05683,
title = {One-shot Network Pruning at Initialization with Discriminative Image Patches},
author = {Yinan Yang and Yu Wang and Ying Ji and Heng Qi and Jien Kato},
journal= {arXiv preprint arXiv:2209.05683},
year = {2022}
}
备注
BMVC 2022