基于离散QCQP的最优通道选择
计算机视觉与模式识别
2022-02-28 v1 机器学习
摘要
在将大型卷积神经网络部署到资源受限环境时，降低其高昂的计算成本至关重要。我们首先表明，近期通道剪枝方法的贪心策略忽略了相邻层通道间固有的二次耦合，并且无法在剪枝过程中安全地移除无效权重。此外，由于这些无效权重的存在，贪心方法无法保证满足给定的资源约束，并与真实目标产生偏差。为此，我们提出了一种新颖的通道选择方法，通过离散QCQP最优地选择通道，该方法可证明能防止任何无效权重，并能在FLOPs、内存占用和网络规模方面严格保证满足资源约束。我们还提出了一个二次模型，可准确估计剪枝后网络的实际推理时间，从而允许我们将推理时间作为一种资源约束选项。此外，我们推广了该方法，将选择粒度扩展到通道之外，并处理非顺序连接。我们在CIFAR-10和ImageNet上的实验表明，我们所提出的剪枝方法在各种网络架构上均优于其他固定重要性的通道剪枝方法。
引用
@article{arxiv.2202.12417,
title = {Optimal channel selection with discrete QCQP},
author = {Yeonwoo Jeong and Deokjae Lee and Gaon An and Changyong Son and Hyun Oh Song},
journal= {arXiv preprint arXiv:2202.12417},
year = {2022}
}
备注
aistats2022 accepted paper