具有可证明保证的神经网络训练后量化
机器学习
2023-01-18 v3 人工智能
机器学习
摘要
尽管神经网络在广泛应用中的表现极为成功，但在资源受限硬件上实现它们仍是一个研究热点。通过将神经网络的权重替换为量化（例如4-bit或二值）的对应值，可在计算成本、内存和功耗上获得巨大节省。为此，我们推广了一种基于贪心路径跟随机制的训练后神经网络量化方法GPFQ。其中，我们提出了促进权重稀疏化的改进，并严格分析了相关误差。此外，我们的误差分析将先前关于GPFQ的结果扩展到处理一般量化字母表，表明对于单层网络的量化，相对平方误差基本随权重数量——即过参数化水平——线性衰减。我们的结果在一系列输入分布下以及对于全连接和卷积架构均成立，从而也扩展了先前的结果。为实证评估该方法，我们以每权重极少比特量化了几种常见架构，并在ImageNet上测试，显示与未量化模型相比仅有微小精度损失。我们还展示了标准改进（如偏置校正和混合精度量化）可进一步提高精度。
引用
@article{arxiv.2201.11113,
title = {Post-training Quantization for Neural Networks with Provable Guarantees},
author = {Jinjie Zhang and Yixuan Zhou and Rayan Saab},
journal= {arXiv preprint arXiv:2201.11113},
year = {2023}
}
备注
This paper was accepted by SIAM Journal on Mathematics of Data Science (SIMODS)