SMOF：从滤波器中压榨更多收益以实现硬件友好的 CNN 剪枝
计算机视觉与模式识别
2021-10-22 v1 人工智能
图像与视频处理
摘要
多年来，卷积神经网络（CNNs）家族一直是深度学习中的主力。近来，许多新颖的 CNN 结构被设计出来以应对日益困难的任务。为使它们能在边缘设备上高效运行，研究者提出了各种结构化网络剪枝策略以降低其内存与计算成本。然而，其中大多数仅关注减少每层的滤波器通道数，而未考虑单个滤波器通道内部的冗余。本文中，我们从另一维度——核大小——探索剪枝。我们开发了一个称为 SMOF 的 CNN 剪枝框架，其通过同时减小核大小与滤波器通道数来从滤波器中压榨更多收益（Squeezes More Out of Filters）。值得注意的是，SMOF 对标准硬件设备友好，无需任何定制的底层实现，且通过减小核大小进行的剪枝不会受限于通用处理器 SIMD 单元中固定宽度的约束。剪枝后的网络可轻松部署，并带来显著的运行时降低。我们还通过在各种 CNN 结构与移动设备通用处理器上的大量实验支持了上述论断。
引用
@article{arxiv.2110.10842,
title = {SMOF: Squeezing More Out of Filters Yields Hardware-Friendly CNN Pruning},
author = {Yanli Liu and Bochen Guan and Qinwen Xu and Weiyi Li and Shuxue Quan},
journal= {arXiv preprint arXiv:2110.10842},
year = {2021}
}
备注
11 pages, 4 figures