我们从何处启程？权重初始化对深度神经网络量化行为的底层探索
机器学习
2020-12-01 v1 计算机视觉与模式识别
摘要
随着用于移动端处理的深度卷积神经网络(CNN)算法的激增，有限精度量化已成为提升CNN效率的重要工具。因此，各类工作致力于设计固定精度量化算法和以减少量化引起的性能下降为目标的量化优化技术。然而，关于各种CNN设计决策/最佳实践如何影响量化推理行为，人们知之甚少。权重初始化策略通常与解决梯度消失/爆炸问题相关，但一个常被忽视的方面是它们对各层最终训练后分布的影响。我们针对不同的权重初始化对不同CNN架构的权重和激活的最终分布的影响，提出了一种细粒度、深入的消融研究。这种细粒度的逐层分析使我们深入洞察初始权重分布将如何影响最终精度和量化行为。据我们所知，我们是首个对权重初始化及其对量化行为的影响进行此类底层、深入的定量分析的。
引用
@article{arxiv.2011.14578,
title = {Where Should We Begin? A Low-Level Exploration of Weight Initialization Impact on Quantized Behaviour of Deep Neural Networks},
author = {Stone Yun and Alexander Wong},
journal= {arXiv preprint arXiv:2011.14578},
year = {2020}
}
备注
Accepted for publication at the 6th Annual Conference on Computer Vision and Intelligent Systems (CVIS2020)