激活函数对稀疏神经网络的影响
神经与进化计算
2020-10-14 v1
摘要
尽管稀疏神经网络的概念已被研究一段时间，研究者近期才在该问题上取得显著进展。诸如稀疏演化训练（Sparse Evolutionary Training）等技术通过削减冗余连接，相较全连接模型大幅降低计算复杂度。这通常发生于网络训练中权重创建与移除的迭代过程。虽有众多方法优化被移除权重的再分配，关于激活函数对稀疏网络性能影响的研究似乎甚少乃至阙如。本研究深入剖析所采用激活函数与不同稀疏度下网络性能之间的关系。
引用
@article{arxiv.2010.05943,
title = {Activation function impact on Sparse Neural Networks},
author = {Adam Dubowski},
journal= {arXiv preprint arXiv:2010.05943},
year = {2020}
}