通过梯度下降学习单隐层ReLU网络
机器学习
2018-06-21 v1 机器学习
摘要
我们研究带修正线性单元（ReLU）激活函数的单隐层神经网络的学习问题，其中输入从标准高斯分布采样，输出由带噪声的教师网络生成。我们基于经验风险最小化分析了梯度下降训练此类神经网络的性能，并给出依赖于算法的保证。特别地，我们证明张量初始化后接梯度下降能以线性速率收敛到真值参数，直至某个统计误差。据我们所知，这是首个刻画具有多个神经元的单隐层ReLU网络实际学习的恢复保证的工作。数值实验验证了我们的理论发现。
引用
@article{arxiv.1806.07808,
title = {Learning One-hidden-layer ReLU Networks via Gradient Descent},
author = {Xiao Zhang and Yaodong Yu and Lingxiao Wang and Quanquan Gu},
journal= {arXiv preprint arXiv:1806.07808},
year = {2018}
}
备注
26 pages, 2 figures