线性不可分数据分类的神经网络训练中慢到快权重演化的全局收敛性与几何刻画
机器学习
2020-12-11 v3 最优化与控制
机器学习
摘要
在本文中，我们研究用于分类问题的神经网络学习中梯度下降的动力学。与已有工作不同，我们考虑线性不可分情形，即不同类的训练数据位于正交子空间中。我们证明当网络具有充足（但不极大）数量的神经元时，(1) 相应的极小化问题具有理想的景观，其中所有临界点都是具有完美分类的全局极小点；(2) 梯度下降保证收敛到全局极小点。此外，我们发现了网络权重上的一个几何条件，当该条件满足时，权重演化从权重方向扩散的慢阶段过渡到权重收敛的快阶段。该几何条件表明：权重在单位球上投影的凸包包含原点。
引用
@article{arxiv.2002.12563,
title = {Global Convergence and Geometric Characterization of Slow to Fast Weight Evolution in Neural Network Training for Classifying Linearly Non-Separable Data},
author = {Ziang Long and Penghang Yin and Jack Xin},
journal= {arXiv preprint arXiv:2002.12563},
year = {2020}
}