FactorizeNet：量化约束下用于高效网络架构探索的渐进式深度分解
计算机视觉与模式识别
2020-12-01 v1 机器学习
摘要
深度分解和量化已成为设计高效深度卷积神经网络（CNN）架构的两大主要策略，这些架构专为边缘端的低功耗推理而定制。然而，对于不同的深度分解选择如何影响 CNN 中每一层最终训练后的分布，尤其是在权重和激活值量化的情况下，仍然缺乏详细的理解。在本研究中，我们提出了一种渐进式深度分解策略，用于在量化约束下高效探索 CNN 架构。通过以渐进方式算法化地增加深度分解的粒度，所提策略实现了对逐层分布的细粒度底层分析，从而能够在固定精度量化下深入理解效率-精度权衡。这种渐进式深度分解策略还能够基于所需的效率-精度要求高效识别最优深度分解宏架构设计（我们在此称之为 FactorizeNet）。
引用
@article{arxiv.2011.14586,
title = {FactorizeNet: Progressive Depth Factorization for Efficient Network Architecture Exploration Under Quantization Constraints},
author = {Stone Yun and Alexander Wong},
journal= {arXiv preprint arXiv:2011.14586},
year = {2020}
}
备注
Accepted for Publication at the 2020 Workshop on Energy Efficient Machine Learning and Cognitive Computing (EMC2 2020)