神经网络激活函数损失景观的实证分析

激活函数通过引入非线性在神经网络设计中起着重要作用。先前研究表明，激活函数的选择会影响所得损失景观的性质。理解激活函数与损失景观性质之间的关系对于神经网络架构和训练算法设计十分重要。本研究实证考察了与双曲正切、修正线性单元和指数线性单元激活函数相关的神经网络损失景观。结果表明，修正线性单元产生最凸的损失景观，指数线性单元产生最不平坦的损失景观，并展现出更优的泛化性能。所有激活函数的损失景观中均存在宽谷与窄谷，且窄谷被证明与饱和神经元和隐式正则化的网络配置相关。