BatchQuant：具有鲁棒量化器的全量化架构搜索
计算机视觉与模式识别
2021-05-20 v1 机器学习
摘要
随着深度学习模型在边缘设备上的应用加速增长，快速适应具有不同资源约束的各种场景已成为模型部署的关键方面。因此，具有自适应配置的模型优化策略正日益流行。尽管一次性量化神经架构搜索在模型架构和量化策略上均享有灵活性，但组合搜索空间带来诸多挑战，包括训练权重共享超网时的不稳定性以及难以在指数级增长的搜索空间中导航。现有方法倾向于要么将架构搜索空间限制为少量选项，要么将量化策略搜索空间限制为固定精度策略。为此，我们提出BatchQuant，一种鲁棒量化器公式，可实现紧凑、一次性、混合精度、权重共享超网的快速稳定训练。我们采用BatchQuant在远少于先前方法的GPU小时内训练了一个紧凑超网（提供超过个量化子网络）。我们的方法Quantized-for-all（QFA）首次无缝扩展一次性权重共享NAS超网，以支持具有任意超低比特混合精度量化策略且无需重训练的子网络。QFA为联合硬件感知神经架构搜索与量化开辟了新可能。我们在ImageNet上展示了方法的有效性，并在低复杂度约束（ MFLOPs）下取得SOTA的Top-1准确率。代码与模型将公开于https://github.com/bhpfelix/QFA。
引用
@article{arxiv.2105.08952,
title = {BatchQuant: Quantized-for-all Architecture Search with Robust Quantizer},
author = {Haoping Bai and Meng Cao and Ping Huang and Jiulong Shan},
journal= {arXiv preprint arXiv:2105.08952},
year = {2021}
}