PROFIT：一种用于亚4位MobileNet模型的新型训练方法
计算机视觉与模式识别
2020-08-12 v1 性能
摘要
由于移动设备对更高能效的需求不断增长，需要4位及更低精度的移动模型。本工作中，我们指出由权重量化引起的激活不稳定性（AIWQ）是移动网络亚4位量化的关键障碍。为缓解AIWQ问题，我们提出一种称为渐进冻结迭代训练（PROFIT）的新型训练方法，其试图冻结那些受不稳定性问题影响强于其他层的层。我们还提出一种可微分统一量化方法（DuQ）与负填充思想，以支持如h-swish等非对称激活函数。我们在ImageNet上通过量化MobileNet-v1、v2和v3来评估所提方法，并报告4位量化提供了与全精度基线相当（top-1精度在1.48%以内）的精度。在MobileNet-v3的3位量化消融研究中，我们提出的方法以很大优势（top-1精度12.86%）超越了最先进（SOTA）方法。
引用
@article{arxiv.2008.04693,
title = {PROFIT: A Novel Training Method for sub-4-bit MobileNet Models},
author = {Eunhyeok Park and Sungjoo Yoo},
journal= {arXiv preprint arXiv:2008.04693},
year = {2020}
}
备注
Published at ECCV2020, spotlight paper