浅层神经网络的全局最优由脊波变换达到
机器学习
2019-01-31 v3 机器学习
摘要
我们证明，具有任意非线性激活的神经网络的反向传播（BP）训练问题的全局最小值由脊波变换给出。一系列计算实验表明，BP训练后浅层神经网络中隐藏参数的散点图与脊波变换的谱之间存在有趣的相似性。通过引入神经网络的连续模型，我们将训练问题化简为无限维Hilbert空间中的凸优化，并经由脊波变换得到全局优化器的显式表达式。
引用
@article{arxiv.1805.07517,
title = {The global optimum of shallow neural network is attained by ridgelet transform},
author = {Sho Sonoda and Isao Ishikawa and Masahiro Ikeda and Kei Hagihara and Yoshihiro Sawano and Takuo Matsubara and Noboru Murata},
journal= {arXiv preprint arXiv:1805.07517},
year = {2019}
}
备注
under review