深度神经网络中激活函数的平均场理论
机器学习
2019-06-07 v2 神经与进化计算
机器学习
摘要
我们提出一个深度神经网络的统计力学（SM）模型，将基于能量的网络与前馈网络（FFN）方法相联系。我们推断FFN可理解为执行三个基本步骤：编码、表示验证与传播。由该模型的平均场解，我们得到一组自然激活函数——如Sigmoid、与ReLu——以及当前最优的Swish；这代表了通过网络传播的预期信息，并在零噪声极限下趋于ReLu。我们研究了相关分类任务上Hessian的谱，表明Swish能在更广的网络架构范围内提供更一致的性能。
引用
@article{arxiv.1805.08786,
title = {Mean Field Theory of Activation Functions in Deep Neural Networks},
author = {Mirco Milletarí and Thiparat Chotibut and Paolo E. Trevisanutto},
journal= {arXiv preprint arXiv:1805.08786},
year = {2019}
}
备注
Presented at the ICML 2019 Workshop on Theoretical Physics forDeep Learning