硬件感知深度神经网络的生成式设计
机器学习
2020-07-14 v2 机器学习
摘要
为了在边缘/云端高效运行深度神经网络（DNN），许多新的 DNN 推理加速器正被频繁设计并部署。为提升 DNN 的资源效率，模型量化是一种被广泛使用的方法。然而，不同的加速器/硬件（HW）拥有不同资源，导致每种硬件都需要专门的量化策略。此外，对每一层使用相同量化可能是次优的，这增加了可能量化选择的设计空间。这使得人工调优不可行。近期自动确定每层量化的工作由强化学习等优化方法驱动。但这些方法对每个新硬件平台都需要重新训练强化学习。我们提出了一种自主量化与硬件感知调优的新途径。我们提出一个生成模型 AQGAN，它以目标精度为条件生成一套量化配置。借助条件生成模型，用户可在推理时自主生成具有不同目标的不同配置。此外，我们提出一种简化的硬件调优流程，其利用生成模型生成候选方案并基于硬件资源预算执行简单选择，过程快速且可交互。我们在 ImageNet 数据集上五个广泛使用的高效模型上评估了我们的模型。我们与现有均匀量化和最先进的自主量化方法进行比较。我们的生成模型展现出具竞争力的可达精度，但每个设计点的搜索成本约降低两个数量级。我们的生成模型显示所生成的量化配置在所有实验中可导致低于 3.5% 的误差。
引用
@article{arxiv.2006.03968,
title = {Generative Design of Hardware-aware DNNs},
author = {Sheng-Chun Kao and Arun Ramamurthy and Tushar Krishna},
journal= {arXiv preprint arXiv:2006.03968},
year = {2020}
}