位宽自适应量化感知神经网络训练：一种元学习方法
机器学习
2022-07-22 v1 计算机视觉与模式识别
摘要
具有自适应位宽的深度神经网络量化因易于在具有不同资源预算的各类平台上部署模型而受到越来越多的关注。本文中，我们提出一种元学习方法来达成此目标。具体而言，我们提出 MEBQAT，一种简洁而有效的位宽自适应量化感知训练（QAT）方式，通过将元学习任务重新定义为纳入位宽，使元学习与 QAT 有效结合。在部署于某平台后，MEBQAT 允许（元）训练模型被量化为任意候选位宽，并有助于在不产生明显量化精度下降的情况下进行推理。此外，在少样本学习场景下，MEBQAT 还可通过加入常规优化或基于度量的元学习，使模型适应任意位宽以及任意未见目标类别。我们设计了 MEBQAT 的变体以支持（1）位宽自适应量化场景和（2）一个全新的少样本学习场景，其中量化位宽与目标类别被联合适配。我们通过实验在多种 QAT 方案中验证了它们的有效性。通过与（位宽专用）QAT、现有位宽自适应 QAT 以及朴素元学习比较性能，我们发现将位宽并入元学习任务可实现更高水平的鲁棒性。
引用
@article{arxiv.2207.10188,
title = {Bitwidth-Adaptive Quantization-Aware Neural Network Training: A Meta-Learning Approach},
author = {Jiseok Youn and Jaehun Song and Hyung-Sin Kim and Saewoong Bahk},
journal= {arXiv preprint arXiv:2207.10188},
year = {2022}
}
备注
14 pages (except references), 2 figures, to appear in ECCV 2022