EMQ：面向自动化混合精度量化的演化式免训练代理
计算机视觉与模式识别
2023-07-21 v1 人工智能
摘要
混合精度量化（MQ）能够为模型实现具有竞争力的精度-复杂度权衡。传统的基于训练的搜索方法需要耗时的候选训练，以在 MQ 中搜索优化的逐层位宽配置。近来，一些免训练方法提出了各种 MQ 代理并显著提升了搜索效率。然而，这些代理与量化精度之间的相关性尚不清楚。为弥补这一差距，我们首先构建了 MQ-Bench-101，其包含不同的位宽配置与量化结果。随后，我们观察到现有免训练代理在 MQ-Bench-101 上表现出较弱的相关性。为高效寻求更优代理，我们通过演化算法开发了用于 MQ 的代理自动搜索框架。具体而言，我们设计了一个包含现有代理的精细搜索空间，并执行演化搜索以发现相关性最佳的 MQ 代理。我们提出了多样性促进选择策略与兼容性筛选协议，以避免过早收敛并提升搜索效率。由此，我们提出的面向混合精度量化的演化代理（EMQ）框架可在无需大量调参和专家知识的情况下自动生成代理。在 ImageNet 上基于各种 ResNet 和 MobileNet 系列的广泛实验表明，我们的 EMQ 以显著降低的成本取得了优于最先进混合精度方法的性能。代码将公开。
引用
@article{arxiv.2307.10554,
title = {EMQ: Evolving Training-free Proxies for Automated Mixed Precision Quantization},
author = {Peijie Dong and Lujun Li and Zimian Wei and Xin Niu and Zhiliang Tian and Hengyue Pan},
journal= {arXiv preprint arXiv:2307.10554},
year = {2023}
}
备注
Accepted by ICCV2023