ABCP：基于联合搜索的自动块级与通道级网络剪枝
计算机视觉与模式识别
2021-10-11 v1 人工智能
摘要
当前，越来越多的模型剪枝方法被提出，以解决深度学习模型所需计算能力与资源受限设备之间的矛盾。然而，大多数传统的基于规则的网路剪枝方法无法在较低精度损失下达到足够的压缩比，且耗时耗力。本文提出自动块级与通道级网络剪枝（ABCP），利用深度强化学习联合搜索块级和通道级剪枝动作。提出一种联合采样算法，分别从离散和连续搜索空间中同时生成每个残差块的剪枝选择以及每个卷积层的通道剪枝比例。最终获得兼顾模型精度与复杂度的最佳剪枝动作。相比传统基于规则的剪枝方法，该流程节省人力，并以更低的精度损失实现更高的压缩比。在移动机器人检测数据集上测试，剪枝后的 YOLOv3 模型节省 99.5% FLOPs，减少 99.5% 参数，并实现 37.3 倍加速，仅损失 2.8% mAP。在 sim2real 检测数据集上的迁移任务结果也表明，我们的剪枝模型具有更优的鲁棒性表现。
引用
@article{arxiv.2110.03858,
title = {ABCP: Automatic Block-wise and Channel-wise Network Pruning via Joint Search},
author = {Jiaqi Li and Haoran Li and Yaran Chen and Zixiang Ding and Nannan Li and Mingjun Ma and Zicheng Duan and Dongbing Zhao},
journal= {arXiv preprint arXiv:2110.03858},
year = {2021}
}
备注
12 pages, 9 figures, submitted to Journal of IEEE Transactions on Cybernetics