UNIQ：用于神经网络非均匀量化的均匀噪声注入
机器学习
2021-03-30 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
我们提出一种新颖的神经网络量化方法，其模拟非均匀分位量化器，该量化器适应被量化参数的分布。我们的方法为现有的神经网络均匀量化技术提供了一种新颖替代方案。我们建议以所执行的位运算(BOPS)为函数比较结果，假设非均匀情况下查找表可用。在此设定下，我们展示了我们的策略在低计算预算机制中的优势。尽管所提方案在硬件中更难实现，我们相信它为神经网络量化的新替代方案奠定了基础。
引用
@article{arxiv.1804.10969,
title = {UNIQ: Uniform Noise Injection for Non-Uniform Quantization of Neural Networks},
author = {Chaim Baskin and Eli Schwartz and Evgenii Zheltonozhskii and Natan Liss and Raja Giryes and Alex M. Bronstein and Avi Mendelson},
journal= {arXiv preprint arXiv:1804.10969},
year = {2021}
}