使用重加权优化方法的统一 DNN 权重压缩框架
机器学习
2020-04-14 v1 计算机视觉与模式识别
神经与进化计算
摘要
针对深度神经网络（DNNs）模型规模大、计算需求密集的问题，人们提出了权重剪枝技术，通常分为两类，即基于静态正则化的剪枝和基于动态正则化的剪枝。然而，前者目前存在工作负载复杂或精度下降的问题，而后者需要长时间调参以实现无精度损失的期望剪枝率。本文中，我们提出了一种统一的 DNN 权重剪枝框架，其具有受指定约束界定的动态更新正则化项，可生成非结构化稀疏性以及多种结构化稀疏性。我们还将该方法扩展为一个用于组合不同 DNN 压缩任务的集成框架。
引用
@article{arxiv.2004.05531,
title = {A Unified DNN Weight Compression Framework Using Reweighted Optimization Methods},
author = {Tianyun Zhang and Xiaolong Ma and Zheng Zhan and Shanglin Zhou and Minghai Qin and Fei Sun and Yen-Kuang Chen and Caiwen Ding and Makan Fardad and Yanzhi Wang},
journal= {arXiv preprint arXiv:2004.05531},
year = {2020}
}