ResRep：通过解耦记忆与遗忘实现无损 CNN 剪枝
机器学习
2021-08-17 v4 计算机视觉与模式识别
图像与视频处理
机器学习
摘要
我们提出 ResRep，一种用于无损通道剪枝（亦称滤波器剪枝）的新方法，它通过减少卷积层的宽度（输出通道数）来精简 CNN。受神经生物学关于记忆与遗忘独立性的研究启发，我们提出将 CNN 重参数化为记忆部分与遗忘部分，前者学习保持性能，后者学习剪枝。通过对前者使用常规 SGD 训练、对后者使用带惩罚梯度的新颖更新规则，我们实现了结构化稀疏。然后我们将记忆部分与遗忘部分等价合并回具有更窄层的原始架构。就此意义而言，ResRep 可视为结构重参数化（Structural Re-parameterization）的一次成功应用。该方法论使 ResRep 区别于传统的基于学习的剪枝范式——后者对参数施加惩罚以产生稀疏性，可能抑制对记忆至关重要的参数。ResRep 将 ImageNet 上准确率为 76.15% 的标准 ResNet-50 精简为仅 45% FLOPs 且精度无损失的更窄网络，这是首个以如此高压缩比实现无损剪枝的方法。代码与模型见 https://github.com/DingXiaoH/ResRep。
引用
@article{arxiv.2007.03260,
title = {ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting},
author = {Xiaohan Ding and Tianxiang Hao and Jianchao Tan and Ji Liu and Jungong Han and Yuchen Guo and Guiguang Ding},
journal= {arXiv preprint arXiv:2007.03260},
year = {2021}
}
备注
ICCV 2021