含单神经元层的深度线性网络的全局收敛分析
机器学习
2022-01-11 v1 人工智能
摘要
本文沿用 Eftekhari 的工作，给出深度线性网络的非局部收敛分析。具体而言，我们考虑在二次损失下优化含一个单神经元层的深度线性网络。我们描述了在梯度流下任意起点轨迹的收敛点，包括收敛到某个鞍点或原点的路径。我们还按阶段给出了收敛到全局极小值的轨迹的具体收敛速率。为取得这些结果，本文主要扩展了 Eftekhari 工作中的方法，以可证明地识别秩稳定集与全局极小值收敛集。我们也给出具体示例以表明我们所下定义的必要性。关键的是，据我们所知，我们的结果似乎是首个从任意初始化点出发对线性神经网络进行非局部全局分析的工作，而非文献中占主导的惰性训练机制以及 Eftekhari 工作中受限的良性初始化。我们还指出，将我们的结果扩展到无单隐藏神经元假设的一般线性网络仍是一个具有挑战性的开放问题。
引用
@article{arxiv.2201.02761,
title = {Global Convergence Analysis of Deep Linear Networks with A One-neuron Layer},
author = {Kun Chen and Dachao Lin and Zhihua Zhang},
journal= {arXiv preprint arXiv:2201.02761},
year = {2022}
}