Fire Together Wire Together：一种基于自监督掩码预测的动态剪枝方法
计算机视觉与模式识别
2022-06-30 v4 机器学习
摘要
动态模型剪枝是近期的一个方向，它允许在部署时对每个输入样本推理不同的子网络。然而，当前的动态方法依赖于通过学习连续的通道门控并通过诱导稀疏性损失的正则化来实现。这种表述在平衡不同损失（如任务损失、正则化损失）时引入了复杂性。此外，基于正则化的方法缺乏透明的权衡超参数选择以实现计算预算。我们的贡献有两点：1) 解耦任务损失与剪枝损失。2) 简单的超参数选择，可在训练前估算 FLOPs 缩减量。受神经科学中 Hebbian 理论“同时放电的神经元连在一起”的启发，我们提出基于前一层激活来预测掩码以处理当前层中的 k 个滤波器。我们将该问题表述为一个自监督二分类问题。每个掩码预测模块被训练以预测当前层中每个滤波器的对数似然是否属于前 k 个最激活的滤波器。值 k 基于使用热图质量的新准则为每个输入动态估计。我们在多个神经网络架构（如 VGG、ResNet 和 MobileNet）以及 CIFAR 和 ImageNet 数据集上展示了实验。在 CIFAR 上，我们以比 SOTA 方法高 15% 和 24% 的 FLOPs 缩减达到了相似精度。同样在 ImageNet 上，我们以高达 13% 的 FLOPs 缩减改进实现了更低的精度下降。
引用
@article{arxiv.2110.08232,
title = {Fire Together Wire Together: A Dynamic Pruning Approach with Self-Supervised Mask Prediction},
author = {Sara Elkerdawy and Mostafa Elhoushi and Hong Zhang and Nilanjan Ray},
journal= {arXiv preprint arXiv:2110.08232},
year = {2022}
}