EQ-Net：弹性量化神经网络
计算机视觉与模式识别
2023-08-16 v1 人工智能
摘要
当前的模型量化方法已展现出在降低存储空间和计算复杂度方面的良好能力。然而，由于不同硬件支持的量化形式多样，现有方案的一个局限是通常需针对不同场景重复优化。如何构建具有灵活量化形式的模型研究较少。本文探索一种一次性网络量化机制，称为弹性量化神经网络（EQ-Net），旨在训练一个鲁棒的权值共享量化超网。首先，我们提出弹性量化空间（包括弹性位宽、粒度和对称性）以适应各种主流量化形式。其次，我们提出权值分布正则损失（WDR-Loss）和分组渐进引导损失（GPG-Loss）以弥合弹性量化空间间隙中权值与输出logits分布的不一致性。最后，我们结合遗传算法与提出的条件量化感知精度预测器（CQAP）作为估计器，在超网中快速搜索混合精度量化神经网络。大量实验表明，我们的EQ-Net接近甚至优于其静态对应方法以及最先进的鲁棒位宽方法。代码可见于 \href{https://github.com/xuke225/EQ-Net.git}{https://github.com/xuke225/EQ-Net}。
引用
@article{arxiv.2308.07650,
title = {EQ-Net: Elastic Quantization Neural Networks},
author = {Ke Xu and Lei Han and Ye Tian and Shangshang Yang and Xingyi Zhang},
journal= {arXiv preprint arXiv:2308.07650},
year = {2023}
}