基于最优阈值的通道剪枝
计算机视觉与模式识别
2020-09-11 v5
摘要
结构化剪枝，尤其是通道剪枝，因计算成本降低且与现成硬件设备兼容而被广泛使用。在现有工作中，权重通常通过预定义的全局阈值或根据预定义度量计算的阈值来移除。基于预定义全局阈值的设计忽略了不同层之间及权重分布的差异，因此常因过度剪枝或欠剪枝而导致次优性能。本文提出一种简单而有效的方法，称为最优阈值（OT），利用依赖于各层的阈值来剪枝通道，从而最优地区分重要通道与可忽略通道。通过使用 OT，大多数可忽略或不重要的通道被剪除以实现高稀疏度，同时将性能下降降至最低。由于最重要的权重得以保留，剪枝后的模型可进一步微调，并以极少迭代次数快速收敛。我们的方法展现出优越性能，尤其是在高稀疏度下与最先进（SOTA）设计相比时。在 CIFAR-100 上，使用 OT 剪枝并微调的 DenseNet-121 仅以 1.46e8 FLOPs 和 0.71M 参数实现了 75.99% 的准确率。
引用
@article{arxiv.2003.04566,
title = {Channel Pruning via Optimal Thresholding},
author = {Yun Ye and Ganmei You and Jong-Kae Fwu and Xia Zhu and Qing Yang and Yuan Zhu},
journal= {arXiv preprint arXiv:2003.04566},
year = {2020}
}
备注
ICONIP 2020