MOHAQ：面向循环神经网络的多目标硬件感知量化
机器学习
2022-01-21 v3 硬件体系结构
摘要
深度学习模型的压缩对于将其部署到边缘设备至关重要。压缩参数的选择可以通过优化算法自动完成，以适应硬件平台和应用的变化。本文提出了一种多目标硬件感知量化（MOHAQ）方法，该方法将硬件效率和推理误差作为混合精度量化的目标。所提方法通过两个步骤，在庞大的搜索空间中可行地评估候选解。首先，应用训练后量化进行快速解评估（仅推理搜索）。其次，我们提出“基于信标的搜索”，仅对选定的解进行重训练，并将其用作信标，以了解重训练对其他解的影响。我们使用一个基于简单循环单元（SRU）的语音识别模型，在 TIMIT 数据集上应用我们的方法，并在 SiLago 和 Bitfusion 平台上运行。实验评估表明，通过训练后量化，SRU 可压缩高达 8 倍，且无显著误差增加。在 SiLago 上，我们找到了能以微小的误差增加，实现最大可能加速和节能的 97% 和 86% 的解。在 Bitfusion 上，基于信标的搜索将仅推理搜索的误差增益降低了多达 4.9 个百分点。
引用
@article{arxiv.2108.01192,
title = {MOHAQ: Multi-Objective Hardware-Aware Quantization of Recurrent Neural Networks},
author = {Nesma M. Rezk and Tomas Nordström and Dimitrios Stathis and Zain Ul-Abdin and Eren Erdal Aksoy and Ahmed Hemani},
journal= {arXiv preprint arXiv:2108.01192},
year = {2022}
}