所有MobileNet都量化不佳吗？从多尺度分布动态视角洞察量化对深度可分离卷积网络的影响
计算机视觉与模式识别
2021-04-27 v1 机器学习
图像与视频处理
摘要
随着“移动AI”革命的持续推进，对边缘部署深度神经网络行为的理解需求也在增长。特别是，MobileNets是移动端首选的深度卷积神经网络（CNN）系列。然而，它们在训练后量化下常出现显著的精度下降。尽管已有研究引入量化感知训练及其他方法来应对此挑战，但对于为何MobileNets（以及广义上可能的深度可分离CNN（DWSCNN））相较其他CNN架构量化如此之差，理解仍然有限。为深入洞察该现象，我们采取不同策略，研究MobileNet-V1、一组较小DWSCNN以及常规CNN的多尺度分布动态。具体而言，我们考察量化对权重与激活分布动态的影响，随信息逐层传播的变化，以及网络层面分布动态的总体改变。该细粒度分析揭示了DWSCNN中显著的动态范围波动以及通道级与层级分布之间的“分布失配”，导致信息传播中量化退化加剧与分布偏移。此外，对激活量化误差的分析表明，相较常规CNN，DWSCNN中存在更大的量化误差累积。期望此类洞察能催生创新策略，以减少此类分布动态变化并改善移动端的训练后量化。
引用
@article{arxiv.2104.11849,
title = {Do All MobileNets Quantize Poorly? Gaining Insights into the Effect of Quantization on Depthwise Separable Convolutional Networks Through the Eyes of Multi-scale Distributional Dynamics},
author = {Stone Yun and Alexander Wong},
journal= {arXiv preprint arXiv:2104.11849},
year = {2021}
}
备注
Accepted for publication in Mobile AI (MAI) Workshop 2021 at CVPR