CFDP：通用频域剪枝

常言道，少即是多——对于神经网络而言，此言不虚。剪枝应运而生，即选择性修剪网络冗余部分以构建更精简高效的架构。本文提出一种通过频域进行模型剪枝的新型端到端流程。该工作旨在揭示中间模型输出在空域之外的互操作性与意义。我们的方法称为通用频域剪枝（Common Frequency Domain Pruning, CFDP），旨在提取定义于特征图上的通用频域特性，并依据各通道在学习表征中的重要性程度对其进行排序。借助CFDP，我们在CIFAR-10上以GoogLeNet取得了SOTA结果，准确率达95.25%，即较原始模型提升0.2%。在ImageNet上，我们仅使用55%的可训练参数与60%的FLOPs，便超越所有基准并匹配原始模型性能。除卓越性能外，经CFDP生成的模型对多种配置表现出鲁棒性，包括从未训练神经网络架构剪枝，以及抵御对抗攻击的能力。实现代码见 https://github.com/Skhaki18/CFDP。