面向超低均匀精度量化的自动网络自适应
计算机视觉与模式识别
2023-03-30 v3 人工智能
摘要
均匀精度神经网络量化因简化了用于高计算能力的密集打包算术单元而受到青睐。然而，它忽略了各层对量化误差影响具有异构敏感性，导致推理精度次优。本工作提出一种称为神经通道扩展的新型神经架构搜索，通过调整网络结构来缓解超低均匀精度量化带来的精度下降。所提方法在满足硬件约束（如 FLOPs、PARAMs）的同时，选择性地为量化敏感层扩展通道。基于深入分析与实验，我们证明该方法能够自适应调整多个流行网络的通道，在 CIFAR10 和 ImageNet 上实现优越的 2-bit 量化精度。特别地，我们以更小的 FLOPs 和参数规模实现了迄今最佳的 2-bit ResNet50 的 Top-1/Top-5 精度。
引用
@article{arxiv.2212.10878,
title = {Automatic Network Adaptation for Ultra-Low Uniform-Precision Quantization},
author = {Seongmin Park and Beomseok Kwon and Jieun Lim and Kyuyoung Sim and Tae-Ho Kim and Jungwook Choi},
journal= {arXiv preprint arXiv:2212.10878},
year = {2023}
}
备注
Accepted as a full paper by the TinyML Research Symposium 2023