训练单个 ReLU 神经元中的幅值与角度动态
机器学习
2022-10-13 v2
摘要
为理解深度 ReLU 网络的学习动态，我们通过将梯度流 w(t) 分解为幅值 w(t) 和角度 φ(t):= π - θ(t) 分量来研究其动力系统。特别地，对于具有球对称数据分布和平方损失函数的多层单个 ReLU 神经元，我们给出了描述梯度流动态的幅值和角度分量的上下界。利用所得界，我们得出结论：小尺度初始化会导致深度单个 ReLU 神经元的缓慢收敛速度。最后，通过利用梯度流与梯度下降的关系，我们将结果推广到梯度下降方法。所有理论结果均通过实验验证。
引用
@article{arxiv.2209.13394,
title = {Magnitude and Angle Dynamics in Training Single ReLU Neurons},
author = {Sangmin Lee and Byeongsu Sim and Jong Chul Ye},
journal= {arXiv preprint arXiv:2209.13394},
year = {2022}
}