QUENN：面向低功耗神经网络的量化引擎
神经与进化计算
2018-11-15 v1 机器学习
摘要
深度学习正走向边缘设备，开启了分布式人工智能（AI）的新时代。深度神经网络所需的高计算资源需求可通过近似计算技术缓解，其中最显著的是采用粗量化数值表示的低精度算术。在此背景下，Bonseyes 作为一项倡议应运而生，使利益相关方能够将 AI 引入低功耗和自主环境，例如：汽车、医疗健康和消费电子。为此，我们引入了 LPDNN，一个用于在异构嵌入式设备上优化部署深度神经网络的框架。在本工作中，我们详述了集成于 LPDNN 中的量化引擎。该引擎依赖于细粒度工作流，支持神经网络设计探索及各层量化的灵敏度分析。我们以 Alexnet 和 VGG16 为例，针对三种直接量化技术——标准定点、动态定点和 k-means 聚类——展示了该引擎，并证明了后者的潜力。我们认为，使用带 k-means 聚类的高斯量化器可比线性量化器获得更好性能。无需重训练，我们在 Imagenet 上实现了权重存储节省超过 55.64%、运行时内存访问节省 69.17%，且 top5 准确率下降小于 1%。
引用
@article{arxiv.1811.05896,
title = {QUENN: QUantization Engine for low-power Neural Networks},
author = {Miguel de Prado and Maurizio Denna and Luca Benini and Nuria Pazos},
journal= {arXiv preprint arXiv:1811.05896},
year = {2018}
}
备注
Computing Frontiers 2018