用于破坏性 CNN 宽度优化的近似 Oracle 滤波器剪枝
机器学习
2019-05-14 v1 计算机视觉与模式识别
机器学习
摘要
由于以下原因,设计和运行卷积神经网络(CNNs)并不容易:1) 在给定架构下,找到每层最优的滤波器数量(即宽度)是棘手的;2) CNN 的计算强度阻碍了其在计算受限设备上的部署。Oracle 剪枝旨在从训练良好的 CNN 中移除不重要的滤波器,它通过依次剔除滤波器并评估模型来估计滤波器的重要性,因此具有高精度但时间复杂度难以承受,且需要给定结果宽度而无法自动确定。为解决这些问题,我们提出近似 Oracle 滤波器剪枝(Approximated Oracle Filter Pruning, AOFP),它以二分搜索方式持续寻找最不重要的滤波器,通过随机掩蔽滤波器进行剪枝尝试,累积由此产生的误差,并通过多路径框架微调模型。由于 AOFP 支持多层同时剪枝,我们得以可接受的时间代价、可忽略的精度损失且无启发式知识地剪枝现有极深 CNN,或重新设计一个具有更高精度和更快推断的模型。
引用
@article{arxiv.1905.04748,
title = {Approximated Oracle Filter Pruning for Destructive CNN Width Optimization},
author = {Xiaohan Ding and Guiguang Ding and Yuchen Guo and Jungong Han and Chenggang Yan},
journal= {arXiv preprint arXiv:1905.04748},
year = {2019}
}
备注
ICML 2019