MetaMix：面向混合精度激活量化的元状态精度搜索器
机器学习
2024-04-10 v2 计算机视觉与模式识别
摘要
高效网络的混合精度量化常在比特选择的探索中遭遇激活不稳定性。为解决该问题，我们提出了一种称为MetaMix的新方法，其包含比特选择与权重训练两个阶段。比特选择阶段迭代两步：（1）混合精度感知的权重更新，以及（2）以固定的混合精度感知权重进行比特搜索训练，二者结合减轻了混合精度量化中的激活不稳定性，并有助于快速且高质量的比特选择。权重训练阶段利用在比特选择阶段训练得到的权重与步长并对其进行微调，从而实现快速训练。我们在高效且难以量化的网络（即MobileNet v2与v3，以及ImageNet上的ResNet-18）上的实验表明，我们所提方法在精度与运算量的权衡上推动了混合精度量化的边界，其性能优于混合精度与单精度的SOTA方法。
引用
@article{arxiv.2311.06798,
title = {MetaMix: Meta-state Precision Searcher for Mixed-precision Activation Quantization},
author = {Han-Byul Kim and Joo Hyung Lee and Sungjoo Yoo and Hong-Seok Kim},
journal= {arXiv preprint arXiv:2311.06798},
year = {2024}
}
备注
Proc. The 38th Annual AAAI Conference on Artificial Intelligence (AAAI)