受物理启发的剪枝-量化联合学习准则
机器学习
2024-06-05 v2 计算机视觉与模式识别
摘要
剪枝-量化联合学习始终有助于深度神经网络(DNNs)在资源受限边缘设备上的部署。然而,大多数现有方法并未以可解释的方式为剪枝和量化联合学习一个全局准则。本文中,我们提出一种新颖的受物理启发的剪枝-量化联合学习准则(PIC-PQ),其源自我们首次在弹性动力学(ED)与模型压缩(MC)之间建立的类比。具体而言,由ED中的胡克定律出发,我们通过受物理启发准则(PIC)中可学习的形变尺度,建立滤波器重要性分布与滤波器属性(FP)之间的线性关系。此外,我们引入相对位移变量以扩展PIC至全局视角。为确保可行性与灵活性,在量化位宽分配中引入了可用最大位宽与惩罚因子。在图像分类基准上的实验表明,PIC-PQ在精度与位运算(BOPs)压缩比之间取得了良好权衡,例如,在CIFAR10上的ResNet56实现54.96倍BOPs压缩比且精度下降0.10%,在ImageNet上的ResNet18实现53.24倍且精度下降0.61%。代码将发布于https://github.com/fanxxxxyi/PIC-PQ。
引用
@article{arxiv.2312.00851,
title = {Physics Inspired Criterion for Pruning-Quantization Joint Learning},
author = {Weiying Xie and Xiaoyi Fan and Xin Zhang and Yunsong Li and Jie Lei and Leyuan Fang},
journal= {arXiv preprint arXiv:2312.00851},
year = {2024}
}