深度神经网络中的稀疏性——基于 TensorQuant 的实证研究
机器学习
2018-08-28 v1 机器学习
摘要
深度学习正凭借自动驾驶、智能传感器和增强现实等应用进入嵌入式领域。然而，深度神经网络的计算在能耗、算力和内存方面要求很高。人们已研究多种方法来减少所需资源，其中之一是利用深度神经网络中因网络参数高度冗余而产生的稀疏性。已有研究表明，可以特别地促进稀疏性，且所能达到的稀疏性可以非常高。但在许多情况下，这些方法是在较小的拓扑结构上评估的，尚不清楚其结果是否能迁移到更深的拓扑结构。本文扩展了 TensorQuant 工具箱，提供了一个研究稀疏性（尤其是更深模型中稀疏性）的平台。我们研究了针对不同时分类问题规模的几种实际相关拓扑，以展示激活、权重和梯度在稀疏性上的差异。
引用
@article{arxiv.1808.08784,
title = {Sparsity in Deep Neural Networks - An Empirical Investigation with TensorQuant},
author = {Dominik Marek Loroch and Franz-Josef Pfreundt and Norbert Wehn and Janis Keuper},
journal= {arXiv preprint arXiv:1808.08784},
year = {2018}
}
备注
ECML18, Decentralized Machine Learning at the Edge workshop