基于学习权重统计的深度学习卷积神经网络广义零样本量化
计算机视觉与模式识别
2021-12-14 v2 机器学习
摘要
将深度卷积神经网络的浮点权重与激活量化为定点表示可降低内存占用与推理时间。近期，无需给定任务原始无标签训练样本的零样本量化研究正在兴起。这些已发表的最佳工作严重依赖学到的批归一化（BN）参数推断激活的量化范围。具体而言，这些方法基于经验估计框架或数据蒸馏方法计算激活范围。然而，当面对不含BN层的网络时，此类方案性能严重退化。基于此，我们提出一种广义零样本量化（GZSQ）框架，其既不需要原始数据，也不依赖BN层统计。我们利用数据蒸馏方法，仅借助模型预训练权重估计富集数据以校准激活范围。据我们所知，这是首项利用预训练权重分布辅助零样本量化的工作。所提方案显著优于现有零样本工作，例如，在含与不含BN层的MobileNetV2及多种其他模型上，分类精度提升约33%，适用于多种任务。我们还在多个开源量化框架中验证了本工作的有效性。重要的是，我们的工作是面向未来未归一化深度神经网络的后训练零样本量化的首次尝试。
引用
@article{arxiv.2112.02834,
title = {A Generalized Zero-Shot Quantization of Deep Convolutional Neural Networks via Learned Weights Statistics},
author = {Prasen Kumar Sharma and Arun Abraham and Vikram Nelvoy Rajendiran},
journal= {arXiv preprint arXiv:2112.02834},
year = {2021}
}
备注
Accepted by IEEE Transactions on Multimedia