RGP：基于正则图结构的神经网络剪枝
机器学习
2021-11-19 v2 人工智能
摘要
轻量化模型设计已成为深度学习技术应用的重要方向，剪枝是实现模型参数与 FLOPs 大幅减少的有效手段。现有神经网络剪枝方法多从参数重要性出发，设计参数评估指标以迭代执行参数剪枝。这些方法未从模型拓扑视角研究，可能有效但效率不高，且对不同数据集需完全不同的剪枝。本文研究神经网络的图结构，提出基于正则图的剪枝（RGP）以执行一次性神经网络剪枝。我们生成正则图，设定图的节点度值以满足剪枝比例，并通过边交换减小图的平均最短路径长度以获得最优边分布。最后，将所得图映射为神经网络结构以实现剪枝。实验表明，图的平均最短路径长度与对应神经网络的分类精度呈负相关，且所提 RGP 在极高参数削减（超 90%）与 FLOPs 削减（超 90%）下展现出强精度保持能力。
引用
@article{arxiv.2110.15192,
title = {RGP: Neural Network Pruning through Its Regular Graph Structure},
author = {Zhuangzhi Chen and Jingyang Xiang and Yao Lu and Qi Xuan and Xiaoniu Yang},
journal= {arXiv preprint arXiv:2110.15192},
year = {2021}
}
备注
13 pages, 9 figures, 3 tables