迭代训练查找表以实现网络量化
机器学习
2023-07-19 v1 机器学习
摘要
在资源受限设备上运行深度神经网络（DNNs）需要减少其内存以及计算占用。流行的缩减方法是网络量化或剪枝，前者减少网络参数的字长，后者在权重不需要时将其从网络中移除。在本文中，我们讨论一个称为“查找表量化”（LUT-Q）的通用网络缩减框架。对于每一层，我们学习一个值字典和一个分配矩阵来表示网络权重。我们提出一种特殊求解器，它结合梯度下降和一步 k-means 更新来迭代地学习值字典和分配矩阵。该方法非常灵活：通过约束值字典，许多不同的缩减问题，如非均匀网络量化、无乘法器网络训练、网络剪枝或同时量化与剪枝，都可以在不更改求解器的情况下实现。LUT-Q 方法的这种灵活性使我们能够使用相同的方法为不同硬件能力训练网络。
引用
@article{arxiv.1911.04951,
title = {Iteratively Training Look-Up Tables for Network Quantization},
author = {Fabien Cardinaux and Stefan Uhlich and Kazuki Yoshiyama and Javier Alonso Garcia and Lukas Mauch and Stephen Tiedemann and Thomas Kemp and Akira Nakamura},
journal= {arXiv preprint arXiv:1911.04951},
year = {2023}
}
备注
Copyright 2019 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works