基于自动结构搜索的通道剪枝
计算机视觉与模式识别
2020-06-30 v3
摘要
通道剪枝是压缩深度神经网络的主要方法之一。为此，大多数现有剪枝方法侧重于基于经验设计的重要性/优化或正则化来选择通道（滤波器），其缺陷在于次优剪枝。本文提出一种基于人工蜂群算法（ABC）的新的通道剪枝方法，称为 ABCPruner，旨在高效寻找最优剪枝结构，即每层的通道数，而非像以往工作那样选择“重要”通道。为解决深度网络剪枝结构组合数量大得难以处理的问题，我们首先提出收缩组合空间，将保留的通道限制于特定空间中，从而显著减少剪枝结构的组合数。然后，我们将最优剪枝结构的搜索表述为优化问题，并集成 ABC 算法以自动方式求解，从而减少人为干预。ABCPruner 已被证明更为有效，并且能够以端到端方式高效进行微调。源代码可在 https://github.com/lmbxmu/ABCPruner 获取。
引用
@article{arxiv.2001.08565,
title = {Channel Pruning via Automatic Structure Search},
author = {Mingbao Lin and Rongrong Ji and Yuxin Zhang and Baochang Zhang and Yongjian Wu and Yonghong Tian},
journal= {arXiv preprint arXiv:2001.08565},
year = {2020}
}
备注
Accepted by IJCAI2020. SOLO copyright holder is IJCAI (International Joint Conferences on Artificial Intelligence)