通过逐层量化分析探索神经网络量化
机器学习
2020-12-16 v1 机器学习
摘要
量化是深度学习模型高效部署的关键步骤，因此是一个日益流行的研究课题。当前文献未解决的一个重要实际方面是如何分析并修复使用量化导致过度退化的失败案例。本文中，我们提出一个简单分析框架，将总体退化分解到各层的贡献。我们分析了众多常见网络，观察到一层的贡献由内在（局部）因素——该层权重与激活的分布——和外在（全局）因素即与其余层的交互共同决定。对现有量化方案的逐层分析揭示了现有技术的局部失败案例，而这些在考察其整体性能时并未体现。作为示例，我们考虑 ResNext26，最先进（SoTA）的训练后量化方法在其上表现不佳。我们表明几乎所有退化均源自单一层。同样的分析也允许局部修复——仅对该层应用常见的权重截断启发式可将退化降至最低，而全局应用相同启发式会导致高退化。更一般地，逐层分析允许更细致地审视量化如何影响网络，从而设计性能更优的方案。
引用
@article{arxiv.2012.08420,
title = {Exploring Neural Networks Quantization via Layer-Wise Quantization Analysis},
author = {Shachar Gluska and Mark Grobman},
journal= {arXiv preprint arXiv:2012.08420},
year = {2020}
}