在资源受限 IoT 设备上通过局部量化区域部署大规模深度神经网络
机器学习
2018-05-25 v1 机器学习
摘要
在低成本 IoT 设备上实现具有高计算复杂度的大规模深度神经网络,不可避免地受到有限计算资源的限制,使设备难以实时响应。这种脱节使得最先进的深度学习算法,即 CNN(卷积神经网络),与 IoT 领域不兼容。我们提出了一种低比特(范围从 8-bit 到 1-bit)方案,结合我们的局部量化区域算法。我们使用 Caffe model zoo 中的模型作为示例任务,以评估我们的低精度数据表示方案的效果。借助局部量化区域的可用性,我们发现基于这些方案的实现除了降低计算复杂度外,还能极大地保持模型精度。例如,我们的 8-bit 方案在 Intel Edison IoT 平台上以 2 倍加速实现了 top-1 和 top-5 精度无下降。基于我们的 4-bit、2-bit 或 1-bit 方案的实现也适用于具有低计算复杂度优势的 IoT 设备。例如,使用 2-bit 方案时我们任务上的精度下降仅为 0.7%,该方案可大幅节省晶体管。使低比特方案在此可用,为商品化 IoT 控制器的进一步优化打开了新门,即可以通过用所提出的查表操作替换乘累加操作来实现额外加速。整个研究为缓解将先进深度学习算法引入资源受限低成本 IoT 设备的挑战提供了一种新方法。
引用
@article{arxiv.1805.09473,
title = {Deploy Large-Scale Deep Neural Networks in Resource Constrained IoT Devices with Local Quantization Region},
author = {Yi Yang and Andy Chen and Xiaoming Chen and Jiang Ji and Zhenyang Chen and Yan Dai},
journal= {arXiv preprint arXiv:1805.09473},
year = {2018}
}