PSE-Net：用于卷积神经网络通道剪枝的平行子网估计器
计算机视觉与模式识别
2024-08-30 v1
摘要
通道剪枝是一种在保持网络性能的同时压缩深度神经网络的最常用技术。当前，典型的剪枝算法利用神经网络搜索直接寻找可配置宽度的网络，其关键步骤是通过训练超网识别各种剪枝比例的代表子网。然而，当前方法主要遵循串行训练策略来优化超网，耗时较长。本文引入PSE-Net，一种用于高效通道剪枝的平行子网估计器。具体而言，我们提出了一种平行子网训练算法，通过在批次维度上丢弃多余特征来模拟多个子网的前向传播和反向传播，从而在一次训练中完成多个子网的训练。我们提出的算法提高了超网训练的效率，并使网络能够插值预测未采样子网的准确率，从而使PSE-Net能够有效评估和排序子网。在训练好的超网上，我们开发了基于先验分布的采样算法，以提高经典进化搜索的性能。该算法利用超网训练阶段的先验信息来辅助搜索最优子网，同时解决由于网络配置长尾分布导致的发现满足资源约束样本的难题。大量实验表明，PSE-Net在ImageNet数据集上优于先前的状态机械通道剪枝方法，同时保持优异的超网训练效率。例如，在300M FLOPs约束下，我们的修剪版MobileNetV2在ImageNet数据集上实现75.2%的Top-1准确率，超过原始MobileNetV2 2.6个百分点，仅耗费BCNet/AutoAlim的30%/16%的计算时间。
引用
@article{arxiv.2408.16233,
title = {PSE-Net: Channel Pruning for Convolutional Neural Networks with Parallel-subnets Estimator},
author = {Shiguang Wang and Tao Xie and Haijun Liu and Xingcheng Zhang and Jian Cheng},
journal= {arXiv preprint arXiv:2408.16233},
year = {2024}
}
备注
10pages, Neural Networks