基于分治与全局性能损伤排序的多目标复杂网络剪枝框架
机器学习
2024-01-02 v2 人工智能
摘要
模型压缩在深度神经网络（DNNs）的实际部署中起着至关重要的作用，而进化多目标（EMO）剪枝是平衡 DNNs 压缩率与性能的重要工具。然而，由于其基于种群的特性，EMO 剪枝面临优化空间复杂及结构验证过程资源密集的问题，尤其在复杂网络中更为突出。为此，本文提出一种基于分治与全局性能损伤排序的多目标复杂网络剪枝框架（EMO-DIR）。首先，提出分治 EMO 网络剪枝方法，将整个网络上的 EMO 剪枝复杂任务分解为多个子网络上更简单的子任务。一方面，该分解收窄了剪枝优化空间并降低了优化难度；另一方面，较小的网络结构收敛更快，因此所提算法消耗更少计算资源。其次，设计基于跨网络约束的子网络训练方法，可桥接独立的 EMO 剪枝子任务，使其更好协作并提升剪枝后网络的整体性能。最后，提出基于 EMO 的多子网络联合剪枝方法。该方法通过全局性能损伤排序组合多个子网络上 EMO 剪枝结果的帕累托前沿，以设计联合剪枝方案。在 CIFAR-10/100 和 ImageNet-100/1k 上进行了充分实验。所提算法取得了与最先进剪枝方法相当的性能。
引用
@article{arxiv.2303.16212,
title = {A Multi-objective Complex Network Pruning Framework Based on Divide-and-conquer and Global Performance Impairment Ranking},
author = {Ronghua Shang and Songling Zhu and Yinan Wu and Weitong Zhang and Licheng Jiao and Songhua Xu},
journal= {arXiv preprint arXiv:2303.16212},
year = {2024}
}