通过傅里叶分析赢得彩票票：频率引导的网络剪枝
计算机视觉与模式识别
2022-02-01 v1 人工智能
摘要
随着近年来深度学习的显著成功，迫切需求高效的网络压缩算法以释放智能手机或平板等边缘设备的潜在算力。然而，最优网络剪枝是一项非平凡任务，在数学上属于 NP-hard 问题。先前研究者将训练剪枝网络比作购买彩票。本文中，我们研究基于幅度的剪枝（MBP）方案，并通过深度学习模型的傅里叶分析从新颖视角对其进行分析以指导模型设计。除利用傅里叶变换解释 MBP 的泛化能力外，我们还提出一种新颖的两阶段剪枝方法：一阶段获取剪枝网络的拓扑结构，另一阶段通过在频域上从低频到高频的知识蒸馏重训练剪枝网络以恢复容量。在 CIFAR-10 与 CIFAR-100 上的大量实验证明了我们基于傅里叶分析的新型 MBP 相较于其他传统 MBP 算法的优越性。
引用
@article{arxiv.2201.12712,
title = {Win the Lottery Ticket via Fourier Analysis: Frequencies Guided Network Pruning},
author = {Yuzhang Shang and Bin Duan and Ziliang Zong and Liqiang Nie and Yan Yan},
journal= {arXiv preprint arXiv:2201.12712},
year = {2022}
}
备注
accepted to ICASSP 2022