DeepCABAC：用于深度神经网络压缩的上下文自适应二进制算术编码
机器学习
2019-05-22 v1 人工智能
信息论
math.IT
摘要
我们提出 DeepCABAC，一种用于压缩深度神经网络的新型上下文自适应二进制算术编码器。它通过最小化加权率失真函数来量化每个权重参数，该函数隐式地考虑了量化对网络精度的影响。随后，它将量化后的值压缩为具有最小冗余的比特流表示。我们表明，DeepCABAC 能够在多种不同的网络架构和数据集上达到非常高的压缩比。例如，我们能够将 VGG16 ImageNet 模型压缩 63.6 倍且精度无损，从而仅用 8.7MB 即可表示整个网络。
引用
@article{arxiv.1905.08318,
title = {DeepCABAC: Context-adaptive binary arithmetic coding for deep neural network compression},
author = {Simon Wiedemann and Heiner Kirchhoffer and Stefan Matlage and Paul Haase and Arturo Marban and Talmaj Marinc and David Neumann and Ahmed Osman and Detlev Marpe and Heiko Schwarz and Thomas Wiegand and Wojciech Samek},
journal= {arXiv preprint arXiv:1905.08318},
year = {2019}
}
备注
ICML 2019, Joint Workshop on On-Device Machine Learning and Compact Deep Neural Network Representations (ODML-CDNNR)