基于约束优化的稀疏-量化联合学习自动压缩神经网络
机器学习
2020-05-19 v4 机器学习
摘要
深度神经网络（DNNs）被广泛应用于各类场景。将 DNNs 部署于内存与计算单元等资源不充裕的设备上的需求日益增长。近来，通过剪枝、量化等多种技术进行网络压缩以减少资源需求的方法被提出。所有现有压缩技术都敏感于一个关键参数，即每层的压缩比（如剪枝稀疏度、量化位宽）。传统方案将每层的压缩比视为超参数，并借助人工启发式进行调优。近期研究者开始使用黑盒超参数优化，但这会引入新的超参数且存在效率问题。本文中，我们提出一个框架，在给定目标模型大小下自动联合剪枝与量化 DNNs，而无需使用任何超参数来手动设定每层的压缩比。实验中，我们表明该框架可在 CIFAR-10 上将 ResNet-50 的权重数据压缩至 836 更小且不损失精度，并在 ImageNet 分类上将 AlexNet 压缩至 205 更小且不损失精度。
引用
@article{arxiv.1910.05897,
title = {Automatic Neural Network Compression by Sparsity-Quantization Joint Learning: A Constrained Optimization-based Approach},
author = {Haichuan Yang and Shupeng Gui and Yuhao Zhu and Ji Liu},
journal= {arXiv preprint arXiv:1910.05897},
year = {2020}
}