用于 CNN(卷积神经网络)压缩的变换量化
计算机视觉与模式识别
2021-11-09 v4 信息论
机器学习
图像与视频处理
math.IT
摘要
在本文中，我们通过变换量化对卷积神经网络(CNN)权重进行训练后压缩。以往的 CNN 量化技术往往忽略权重与激活值的联合统计，在给定量化比特率下产生次优的 CNN 性能，或者仅在训练期间考虑其联合统计而不便于对已训练 CNN 模型的高效压缩。我们使用率失真框架在训练后对权重进行最优变换(去相关)与量化，以在任意给定量化比特率下改善压缩。变换量化将量化与降维(去相关)技术统一于单一框架中，以促成 CNN 的低比特率压缩与变换域中的高效推理。我们首先引入 CNN 量化的率与失真理论，并将最优量化表述为率失真优化问题。然后我们表明，该问题可使用最优端到端学习变换(ELT，本文导出)去相关后的最优比特深度分配来求解。实验表明，变换量化在重训练与非重训练量化场景下均推进了 CNN 压缩的当前最优水平。特别地，我们发现带重训练的变换量化能够将 AlexNet、ResNet 和 DenseNet 等 CNN 模型压缩至极低比特率(1-2 位)。
引用
@article{arxiv.2009.01174,
title = {Transform Quantization for CNN (Convolutional Neural Network) Compression},
author = {Sean I. Young and Wang Zhe and David Taubman and Bernd Girod},
journal= {arXiv preprint arXiv:2009.01174},
year = {2021}
}
备注
To appear in IEEE Trans Pattern Anal Mach Intell