基于查找表的神经单元：实现免乘法推理的全量化网络
机器学习
2019-06-13 v1 机器学习
摘要
在这项工作中，我们提出对标准分类网络的所有部分进行量化，并将激活-权重乘法步骤替换为简单的基于查找表的操作。该方法得到的网络不含浮点运算且不含乘法，适合直接用于 FPGA 和 ASIC 实现。它还为我们提供了逐层和网络整体紧凑度的两个简单度量，以及对激活输出和权重值分布特征的洞察。我们在不同的量化方案下进行了对照研究，包括固定与自适应，而在自适应方法中又包括参数化与无模型两类。我们以最小化的局部改动将量化方法应用于训练过程，从而能够受益于连续值网络架构训练方面的进展。我们成功地将该方法应用于 AlexNet、ResNet 和 MobileNet。结果表明，在 MobileNet 上仅使用 40 个表项时，我们的性能与已报道的非量化性能差距在 1.6% 以内。当允许使用 320 个表项时，这一性能差距缩小为零。我们的结果在免乘法网络中取得了最佳准确率。
引用
@article{arxiv.1906.04798,
title = {Table-Based Neural Units: Fully Quantizing Networks for Multiply-Free Inference},
author = {Michele Covell and David Marwood and Shumeet Baluja and Nick Johnston},
journal= {arXiv preprint arXiv:1906.04798},
year = {2019}
}