用于计算机视觉任务中块/输出通道剪枝的分离、动态与可微（SMART）剪枝器
计算机视觉与模式识别
2024-12-06 v2 机器学习
摘要
块剪枝是一种结构剪枝方法，通过移除连续的权重块，可以显著提升神经处理单元（NPU）的性能。在工业应用中，理想的块剪枝算法应满足三个关键要求：（1）在多种模型和任务中保持高精度，因为边缘设备上的机器学习部署通常对精度要求很高；（2）提供对资源约束的精确控制，以便于用户采用；（3）提供收敛性保证，以防止性能不稳定。然而，据我们所知，目前尚无同时满足这三个要求的块剪枝算法。在本文中，我们介绍了SMART（分离、动态与可微）剪枝，这是一种旨在填补这一空白的新算法。SMART利用权重和激活信息来提高精度，采用可微的top-k算子来精确控制资源约束，并在温和条件下提供收敛性保证。涉及七个模型、四个数据集、三种不同块类型和三个计算机视觉任务的广泛实验表明，SMART剪枝在块剪枝中实现了最先进的性能。
引用
@article{arxiv.2403.19969,
title = {Separate, Dynamic and Differentiable (SMART) Pruner for Block/Output Channel Pruning on Computer Vision Tasks},
author = {Guanhua Ding and Zexi Ye and Zhen Zhong and Gang Li and David Shao},
journal= {arXiv preprint arXiv:2403.19969},
year = {2024}
}