FLIQS：一次性混合精度浮点与整数量化搜索
计算机视觉与模式识别
2024-05-02 v2 机器学习
摘要
量化已成为一种主流的压缩技术，用于降低现代深度神经网络（DNNs）的模型大小、计算需求和能耗。随着近期硬件中数值支持的改进，包括多种整数和浮点变体，混合精度量化对于以低模型代价获得高质量结果变得必要。先前的混合精度方法要么执行训练后量化搜索（在精度上妥协），要么执行可微量化搜索（因分支导致高内存占用）。因此，我们提出了首个一次性混合精度量化搜索，消除了整数和低精度浮点模型中重新训练的需要。我们在多个卷积和视觉 Transformer 网络上评估我们的搜索（FLIQS）以发现帕累托最优模型。我们的方法优于均匀精度、手动混合精度和近期整数量化搜索方法。对于整数模型，我们在与先前方法等效的模型代价下，将 ResNet-18 在 ImageNet 上的精度提高了 1.31%，将 ResNet-50 提高了 0.90%。此外，我们首次探索了一种新颖的混合精度浮点搜索，并与先前最先进（state-of-the-art）的 FP8 模型相比，将 MobileNetV2 提高了至多 0.98%。最后，我们将 FLIQS 扩展为同时搜索联合量化和神经架构空间，并在 MobileNetV2 搜索空间上以相似模型代价将 ImageNet 精度提高了 2.69%。
引用
@article{arxiv.2308.03290,
title = {FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search},
author = {Jordan Dotzel and Gang Wu and Andrew Li and Muhammad Umar and Yun Ni and Mohamed S. Abdelfattah and Zhiru Zhang and Liqun Cheng and Martin G. Dixon and Norman P. Jouppi and Quoc V. Le and Sheng Li},
journal= {arXiv preprint arXiv:2308.03290},
year = {2024}
}
备注
Accepted to AutoML 2024