面向物联网的紧凑化深度神经网络：方法与应用
机器学习
2021-03-23 v1 人工智能
网络与互联网体系结构
摘要
深度神经网络（DNNs）在完成复杂任务方面已展现出巨大成功。然而，由于分层结构的复杂性，DNNs 不可避免地带来高计算成本与存储消耗，从而阻碍其在计算能力与存储容量受限的物联网（IoT）设备中的广泛部署。因此，研究紧凑化 DNNs 的技术十分必要。尽管在 DNN 紧凑化方面已取得巨大进展，鲜有综述总结紧凑化 DNN 技术，尤其是面向 IoT 应用的。故此，本文对紧凑化 DNN 技术进行了全面研究。我们将紧凑化 DNN 技术分为三大类：1）网络模型压缩，2）知识蒸馏（KD），3）网络结构修改。我们还详细阐述了这些方法的多样性并进行了横向比较。此外，我们讨论了紧凑化 DNN 在各种 IoT 应用中的部署，并勾勒了未来方向。
引用
@article{arxiv.2103.11083,
title = {Compacting Deep Neural Networks for Internet of Things: Methods and Applications},
author = {Ke Zhang and Hanbo Ying and Hong-Ning Dai and Lin Li and Yuangyuang Peng and Keyi Guo and Hongfang Yu},
journal= {arXiv preprint arXiv:2103.11083},
year = {2021}
}
备注
25 pages, 11 figures