MBQuant：一种用于任意比特宽度网络量化的新型多分支拓扑方法
计算机视觉与模式识别
2024-06-04 v2
摘要
任意比特宽度网络量化因其在运行时对各种比特宽度需求的高适应性而备受关注。然而，本文研究现有方法并观察到，由于权重与激活比特宽度的切换，会导致显著的量化误差累积，从而限制性能。为解决该问题，我们提出 MBQuant，一种利用多分支拓扑进行任意比特宽度量化的新方法。MBQuant 将网络主体复制为多个独立分支，其中每个分支的权重量化为固定的 2-bit，激活保持输入比特宽度。所需比特宽度的计算通过选取满足原始计算约束的适当数量分支来完成。通过固定权重比特宽度，该方法大幅降低了由权重比特宽度切换引起的量化误差。此外，我们引入分摊分支选择策略，将激活比特宽度切换引起的量化误差分摊至各分支以提升性能。最后，我们采用就地蒸馏策略促进分支间指导，进一步增强 MBQuant 性能。大量实验表明，与现有任意比特宽度量化方法相比，MBQuant 取得了显著性能增益。代码见 https://github.com/zysxmu/MultiQuant。
引用
@article{arxiv.2305.08117,
title = {MBQuant: A Novel Multi-Branch Topology Method for Arbitrary Bit-width Network Quantization},
author = {Yunshan Zhong and Yuyao Zhou and Fei Chao and Rongrong Ji},
journal= {arXiv preprint arXiv:2305.08117},
year = {2024}
}