量化感知训练中的通道剪枝：一种自适应投影梯度下降-收缩-分裂方法
机器学习
2022-04-12 v1 人工智能
计算机视觉与模式识别
数值分析
数值分析
摘要
我们提出一种自适应投影梯度下降-收缩-分裂方法（APGDSSM），将基于惩罚的通道剪枝整合到量化感知训练（QAT）中。APGDSSM 同时在量化子空间与稀疏子空间中搜索权重。APGDSSM 使用收缩算子与一种分裂技术来产生稀疏权重，并利用 Group Lasso 惩罚将权重稀疏性推向通道稀疏性。此外，我们提出一种新颖的互补变换 l1 惩罚，以稳定极端压缩下的训练。
关键词
引用
@article{arxiv.2204.04375,
title = {Channel Pruning In Quantization-aware Training: An Adaptive Projection-gradient Descent-shrinkage-splitting Method},
author = {Zhijian Li and Jack Xin},
journal= {arXiv preprint arXiv:2204.04375},
year = {2022}
}