自适应二值-三值量化
机器学习
2021-09-15 v3 计算机视觉与模式识别
机器学习
摘要
神经网络模型对资源需求很高。难以在智能穿戴设备、手机、无人机和自动驾驶汽车等资源受限设备上部署此类深度网络。二值化和三值化等低位量化是缓解这一资源需求的常用方法。三值量化提供了更灵活的模型，并在精度上优于二值量化，但使内存占用翻倍并增加计算成本。与这些方法相反，混合量化模型允许在精度和内存占用之间进行权衡。在此类模型中，量化位宽通常手动选择，或通过单独的优化例程调整。后者需要多次训练量化网络。在此，我们提出一种二值与三值量化的自适应组合，即智能量化（SQ），其中量化位宽通过正则化函数直接修改，从而模型仅训练一次。我们的实验结果表明，所提方法在 MNIST 和 CIFAR10 基准上成功自适应量化位宽，同时保持模型高精度。
引用
@article{arxiv.1909.12205,
title = {Adaptive Binary-Ternary Quantization},
author = {Ryan Razani and Grégoire Morin and Vahid Partovi Nia and Eyyüb Sari},
journal= {arXiv preprint arXiv:1909.12205},
year = {2021}
}