DeepSZ：一种利用误差有界有损压缩压缩深度神经网络的新型框架
计算机视觉与模式识别
2019-04-24 v2
摘要
DNN 已被迅速而广泛地用于提升诸多复杂科学与工程应用中的数据分析质量。因对分析质量的需求增长以及待解决的日益复杂应用，当今的 DNN 变得更深更宽。然而，宽而深的 DNN 需要大量资源，严重限制了其在资源受限系统上的使用。尽管已提出一些网络简化方法以解决此问题，它们或受限于低压缩比或高压缩误差，可能为目标精度引入代价高昂的重新训练过程。本文提出 DeepSZ：一种精度损失有界的神经网络压缩框架，包含四个关键步骤——网络剪枝、误差界评估、误差界配置优化与压缩模型生成，具有高压缩比与低编码时间特征。贡献有三：（1）我们开发自适应方法为各层选取可行误差界。（2）我们建立模型以基于各解压层引起的精度退化估计整体精度损失。（3）我们开发高效优化算法以确定误差界的最佳配置，从而在用户设定精度约束下最大化压缩比。实验表明，DeepSZ 可在 ImageNet 上以 46X 与 116X 压缩比分别压缩 AlexNet 与 VGG-16，并在 MNIST 上以 57X 与 56X 压缩比分别压缩 LeNet-300-100 与 LeNet-5，精度损失仅至多 0.3%。相较其他 SOTA 方法，DeepSZ 可将压缩比提升至多 1.43X，DNN 编码性能提升至多 4.0X（使用四块 Nvidia Tesla V100 GPU），解码性能提升至多 6.2X。
引用
@article{arxiv.1901.09124,
title = {DeepSZ: A Novel Framework to Compress Deep Neural Networks by Using Error-Bounded Lossy Compression},
author = {Sian Jin and Sheng Di and Xin Liang and Jiannan Tian and Dingwen Tao and Franck Cappello},
journal= {arXiv preprint arXiv:1901.09124},
year = {2019}
}
备注
12 pages, 6 figures, accepted by HPDC'19