利用多阶段图嵌入与强化学习的拓扑感知网络剪枝
计算机视觉与模式识别
2022-07-04 v2 机器学习
摘要
模型压缩是在算力和内存受限资源上部署深度神经网络（DNNs）的一项关键技术。然而，现有模型压缩方法常依赖人类专业知识并关注参数的局部重要性，忽略了DNN内部丰富的拓扑信息。本文中，我们提出一种基于图神经网络（GNNs）的新型多阶段图嵌入技术来识别DNN拓扑，并利用强化学习（RL）寻找合适的压缩策略。我们进行了资源受限（即FLOPs）的通道剪枝，并将我们的方法与最先进的模型压缩方法比较。我们在从典型到移动端友好的各种模型上评估了方法，如ResNet系列、VGG-16、MobileNet-v1/v2和ShuffleNet。结果表明，我们的方法能以最小微调代价实现更高压缩比，同时取得出色且具有竞争力的性能。
引用
@article{arxiv.2102.03214,
title = {Topology-Aware Network Pruning using Multi-stage Graph Embedding and Reinforcement Learning},
author = {Sixing Yu and Arya Mazaheri and Ali Jannesari},
journal= {arXiv preprint arXiv:2102.03214},
year = {2022}
}
备注
Accepted at ICML 2022 Long presentation