RadiX-Net:用于深度神经网络的结构化稀疏矩阵
机器学习
2019-12-03 v1 机器学习
摘要
深度神经网络 (DNN) 的规模正迅速超出硬件存储和训练它们的能力。过去几十年的研究探索了在训练前、训练中及训练后通过从底层拓扑中剪枝边来稀疏化 DNN 的前景。所得神经网络称为稀疏神经网络。更近期的工作展示了显著结果:某些稀疏 DNN 能以更低运行时间和存储成本训练到与稠密 DNN 相同的精度。这类稀疏 DNN 中一个引人入胜的类别是 X-Net,其在稀疏拓扑上初始化和训练,既无关于父稠密 DNN 的参考,也无后续剪枝。我们提出一种确定性生成 RadiX-Net 的算法:作为整体的稀疏 DNN 拓扑比 X-Net 拓扑更具多样性,同时保留 X-Net 的所需特性。我们进一步基于稀疏神经网络拓扑可获得与稠密对应物相同表达力的长期观察,提出一个泛函分析猜想。
引用
@article{arxiv.1905.00416,
title = {RadiX-Net: Structured Sparse Matrices for Deep Neural Networks},
author = {Ryan A. Robinett and Jeremy Kepner},
journal= {arXiv preprint arXiv:1905.00416},
year = {2019}
}
备注
7 pages, 8 figures, accepted at IEEE IPDPS 2019 GrAPL workshop. arXiv admin note: substantial text overlap with arXiv:1809.05242