BlockSwap：基于 Fisher 势引导的块替换以实现预算受限的网络压缩
机器学习
2020-01-24 v2 机器学习
摘要
将神经网络映射到不同容量设备的需求催生了大量压缩技术的发展，其中许多涉及用廉价的替代块替换大型网络中的标准卷积块。然而，并非所有块都同等重要；对于给定的计算预算，可能存在多种不同廉价块的强有力组合，但穷举搜索此类组合的成本高得令人望而却步。在这项工作中，我们提出了 BlockSwap：一种快速算法，通过使单个训练小批量数据经过随机初始化的网络并衡量其 Fisher 势，来选择具有交错块类型的网络。这些网络随后可用作学生网络，并以原始大型网络作为教师网络进行蒸馏。我们在 CIFAR-10 和 ImageNet 上展示了所选网络用于分类的有效性，以及在 COCO 上用于检测的有效性，并提供了对我们方法的全面消融研究。BlockSwap 使用简单的架构排序系统快速探索可能的块配置，以比大多数架构搜索技术少几个数量级的时间产生极具竞争力的网络（例如在单个 GPU 上用于 CIFAR-10 不到 5 分钟）。代码可在 https://github.com/BayesWatch/pytorch-blockswap 获取。
引用
@article{arxiv.1906.04113,
title = {BlockSwap: Fisher-guided Block Substitution for Network Compression on a Budget},
author = {Jack Turner and Elliot J. Crowley and Michael O'Boyle and Amos Storkey and Gavin Gray},
journal= {arXiv preprint arXiv:1906.04113},
year = {2020}
}
备注
ICLR 2020