迭代训练查找表用于网络量化
机器学习
2018-11-14 v1 机器学习
摘要
在资源受限的设备上运行深度神经网络需要减小其内存占用和计算需求。本文提出一种称为查找表量化（LUT-Q）的训练方法，该方法学习一个字典并将每个权重分配给字典中的某个值。我们表明该方法非常灵活，许多其他技术可视为 LUT-Q 的特例。例如，我们可以约束用 LUT-Q 训练的字典以生成具有剪枝权重矩阵的网络，或限制字典为 2 的幂次以避免乘法运算。为了获得完全无乘法器的网络，我们还引入了无乘法器版本的批归一化。在图像识别和目标检测任务上的大量实验表明，LUT-Q 在同量化位宽下始终取得优于其他方法的性能。
引用
@article{arxiv.1811.05355,
title = {Iteratively Training Look-Up Tables for Network Quantization},
author = {Fabien Cardinaux and Stefan Uhlich and Kazuki Yoshiyama and Javier Alonso García and Stephen Tiedemann and Thomas Kemp and Akira Nakamura},
journal= {arXiv preprint arXiv:1811.05355},
year = {2018}
}
备注
NIPS 2018 workshop on Compact Deep Neural Networks with industrial applications