DeepIoT：利用压缩器-评论家框架压缩感知系统的深度神经网络结构
机器学习
2017-11-27 v3 神经与进化计算
网络与互联网体系结构
摘要
深度学习的最新进展推动了深度神经网络在感知应用中的使用，但它们在受限嵌入式设备上过高的资源需求仍然是一个重要阻碍。最近探索的一个解决方案空间是在设备上使用前以某种方式压缩（近似或简化）深度神经网络。我们提出了一种名为 DeepIoT 的新压缩解决方案，在该领域做出了两项关键贡献。首先，与专为压缩特定类型神经网络设计的现有解决方案不同，DeepIoT 提出了一种统一的方法，能够压缩感知应用中所有常用的深度学习结构，包括全连接、卷积和循环神经网络，以及它们的组合。其次，与稀疏化权重矩阵或假设权重矩阵内具有线性结构的解决方案不同，DeepIoT 通过寻找每层所需的最小数量的非冗余隐藏元素（如滤波器和维度），将神经网络结构压缩为更小的稠密矩阵，同时保持感知应用的性能不变。重要的是，它采用了一种获取参数冗余全局视图的方法来实现这一点，该方法被证明能产生更优的压缩效果。我们在 Intel Edison 设备上对五个不同的感知相关任务进行了实验。DeepIoT 在执行时间和能耗方面以显著优势优于所有对比的基线算法。它将深度神经网络的规模减小了 90% 到 98.9%。因此，它能够将执行时间缩短 71.4% 到 94.5%，并将能耗降低 72.2% 到 95.7%。这些改进是在不损失准确率的情况下实现的。结果突显了 DeepIoT 在推进资源受限嵌入式设备上深度神经网络应用方面的潜力。
引用
@article{arxiv.1706.01215,
title = {DeepIoT: Compressing Deep Neural Network Structures for Sensing Systems with a Compressor-Critic Framework},
author = {Shuochao Yao and Yiran Zhao and Aston Zhang and Lu Su and Tarek Abdelzaher},
journal= {arXiv preprint arXiv:1706.01215},
year = {2017}
}
备注
Published in SenSys2017. Code is available on https://github.com/yscacaca/DeepIoT