关于激活函数对深度网络隐藏节点分布的影响
机器学习
2019-01-09 v1 人工智能
神经与进化计算
统计理论
机器学习
统计理论
摘要
当权重和偏置根据高斯分布随机选取，且输入位于 中时，我们分析全连接深度网络不同层中隐藏变量向量长度的联合概率分布。我们证明，若激活函数 满足一组极小的假设——我们所知实践中使用的所有激活函数均满足该假设——则随着网络宽度变大，“长度过程”依概率收敛于一个长度映射，该映射确定为随机权重和偏置的方差以及激活函数 的简单函数。我们还表明，对于违背我们假设的 ，此收敛可能失效。
引用
@article{arxiv.1901.02104,
title = {On the effect of the activation function on the distribution of hidden nodes in a deep network},
author = {Philip M. Long and Hanie Sedghi},
journal= {arXiv preprint arXiv:1901.02104},
year = {2019}
}