面向支持OpenCL的嵌入式系统的深度神经网络压缩学习
机器学习
2019-05-21 v1 机器学习
摘要
深度神经网络(DNNs)在解决许多复杂学习问题方面相当成功。然而,DNNs往往具有大量学习参数,导致较大的内存与计算需求。本文提出一种模型压缩框架,用于在嵌入式系统上高效训练和推断深度神经网络。我们的框架提供了以压缩形式进行基于OpenCL的并行前向与反向计算的数据结构与核函数。特别地,我们的方法在训练时使用基于的稀疏编码学习参数的稀疏表示,并将其存储于压缩稀疏矩阵中。与以往工作不同,我们的方法不需要将预训练模型作为输入,因而可更灵活地适应不同应用环境。尽管基于的稀疏编码用于模型压缩并非新思路,我们表明当采用邻近点算法与去偏技术时,其效果可远优于既往报道。实验显示,我们的方法能生成适用于小型嵌入式设备的最小学习模型。
引用
@article{arxiv.1905.07931,
title = {Compressed Learning of Deep Neural Networks for OpenCL-Capable Embedded Systems},
author = {Sangkyun Lee and Jeonghyun Lee},
journal= {arXiv preprint arXiv:1905.07931},
year = {2019}
}