稀疏神经网络隐藏结构性质的实验
机器学习
2021-07-28 v1 人工智能
神经与进化计算
摘要
神经网络结构中的稀疏性可以带来更低的能耗、更少的内存占用、在合适硬件上更快的计算时间以及自动化机器学习。如果稀疏性产生某些类型的结构，它可以解释学习过程中自动获得的特征。我们提供了实验的见解，展示了如何通过先验初始化、剪枝和学习过程中实现稀疏性，并回答有关神经网络结构与其性能之间关系的问题。这包括首次将网络理论的先验引入循环神经网络，以及在神经架构搜索中进行架构性能预测。在我们的实验中，我们展示了基于幅度类别盲剪枝在 MNIST 上通过 80% 压缩和重训练达到 97.5%，比无压缩高 0.5 个百分点，基于幅度类别均匀剪枝显著劣于它，以及增强性能预测的遗传搜索在 CIFAR10 上达到 82.4%。此外，针对学习 Reber 语法的循环网络的性能预测显示，仅给定结构信息时 高达 0.81。
引用
@article{arxiv.2107.12917,
title = {Experiments on Properties of Hidden Structures of Sparse Neural Networks},
author = {Julian Stier and Harshil Darji and Michael Granitzer},
journal= {arXiv preprint arXiv:2107.12917},
year = {2021}
}