频域中逐点卷积的稠密剪枝
计算机视觉与模式识别
2021-09-17 v1
摘要
深度可分离卷积与频域卷积是构建高效卷积神经网络的两种近期思路。它们看似不兼容：深度可分离 CNN 中绝大多数运算在逐点卷积层中，但逐点层使用 1x1 核，无法从频率变换中获益。本文通过变换激活值而非核，统一了这两种思路。我们的关键见解是：1）逐点卷积与频率变换可交换，因此可在频域中不经修改地计算；2）给定层内每个通道对频域剪枝的敏感度不同；3）每个通道对频率剪枝的敏感度相对于频率近似单调。我们利用这一知识提出一种新技术，将每个逐点层包裹在离散余弦变换（DCT）中，并按各通道需求截断以选择性剪枝高于给定阈值的系数。为学习应从哪些通道剪枝哪些频率，我们引入一种指定各通道剪枝阈值的新型可学习参数。我们增加一个新的正则化项，激励模型在保持任务准确率的同时减少保留频率数量。与依赖稀疏算子的权重剪枝技术不同，我们的连续频带剪枝产生完全稠密计算。我们将该技术应用于 MobileNetV2，在此过程中减少 22% 计算时间且精度下降小于 1%。
引用
@article{arxiv.2109.07707,
title = {Dense Pruning of Pointwise Convolutions in the Frequency Domain},
author = {Mark Buckler and Neil Adit and Yuwei Hu and Zhiru Zhang and Adrian Sampson},
journal= {arXiv preprint arXiv:2109.07707},
year = {2021}
}