两层神经网络临界集的几何与鞍点分支的存在性
机器学习
2024-05-29 v1 最优化与控制
摘要
本文对两层神经网络中的临界点集进行了全面分析。为了研究此类复杂实体，我们引入了临界嵌入算子和临界约化算子作为工具。给定一个临界点，我们利用这些算子揭示代表相同输出函数的整个底层临界集，该集合呈现出分层结构。此外，对于任何输出函数可由更窄网络表示的临界集，我们证明了其鞍点分支的存在性。我们的结果为进一步研究神经网络的优化和训练行为提供了坚实基础。
引用
@article{arxiv.2405.17501,
title = {Geometry of Critical Sets and Existence of Saddle Branches for Two-layer Neural Networks},
author = {Leyang Zhang and Yaoyu Zhang and Tao Luo},
journal= {arXiv preprint arXiv:2405.17501},
year = {2024}
}