仅梯度线搜索与不同激活函数之间相互作用的研究
机器学习
2020-02-25 v1 机器学习
最优化与控制
摘要
仅梯度线搜索（GOLS）自适应地确定沿搜索方向的步长，用于神经网络训练中由动态小批量子采样导致的不连续损失函数。GOLS中的步长通过沿下降方向定位随机非负关联梯度投影点（SNN-GPPs）来确定。这些点由沿下降方向的方向导数从负到正的符号变化来识别。激活函数是神经网络架构的重要组成部分，因为它们引入了复杂函数逼近所必需的非线性。激活函数的光滑性与连续性特征直接影响待优化损失函数的梯度特性。因此，在GOLS背景下研究激活函数与不同神经网络架构之间的关系颇具意义。我们发现GOLS对一系列激活函数具有鲁棒性，但对标准前馈架构中的修正线性单元（ReLU）激活函数敏感。ReLU在负输入域的零导数会导致梯度向量变得稀疏，从而严重影响训练。我们表明，实现批归一化与跳跃连接等架构特征可以缓解这些困难，并有益于所考虑的所有激活函数在GOLS下的训练。
引用
@article{arxiv.2002.09889,
title = {Investigating the interaction between gradient-only line searches and different activation functions},
author = {D. Kafka and Daniel. N. Wilke},
journal= {arXiv preprint arXiv:2002.09889},
year = {2020}
}
备注
37 pages, 9 figures, submitted for journal review