基于聚类与回滚的贝叶斯优化用于CNN自动剪枝
机器学习
2022-07-26 v2 人工智能
摘要
剪枝是卷积神经网络(CNNs)模型压缩的一种有效技术，但由于设计空间巨大，难以找到最优剪枝策略。为提高剪枝的可用性，许多自动剪枝方法已被提出。近来，贝叶斯优化(BO)因其扎实的理论基础和高采样效率被视为自动剪枝的一种竞争性算法。然而，BO受维数灾难之苦。当剪枝深层CNN时，由于设计空间维度增加，BO性能恶化。我们提出了一种新颖的聚类算法，降低设计空间维度以加速搜索过程。随后，提出一种回滚算法来恢复高维设计空间，从而获得更高的剪枝精度。我们在ResNet、MobileNetV1和MobileNetV2模型上验证了所提方法。实验表明，该方法在剪枝深层CNN时显著提高了BO的收敛速度，且不增加运行时间。源代码见https://github.com/fanhanwei/BOCR。
引用
@article{arxiv.2109.10591,
title = {Bayesian Optimization with Clustering and Rollback for CNN Auto Pruning},
author = {Hanwei Fan and Jiandong Mu and Wei Zhang},
journal= {arXiv preprint arXiv:2109.10591},
year = {2022}
}
备注
Accepted by ECCV 2022