一个模型浅层神经网络的对称性与临界点
机器学习
2021-09-22 v5 动力系统
最优化与控制
机器学习
摘要
我们考虑与用个隐藏神经元拟合两层ReLU网络相关的优化问题，其中标签假设由（教师）神经网络生成。我们利用此类模型展现的丰富对称性来识别各类临界点族，并将其表示为的幂级数。这些表达式随后被用于推导若干相关量的估计，表明并非所有伪极小值都相同。特别地，我们证明某些类型的伪极小值处损失函数像一样衰减至零，而在其他情形下损失收敛于严格正的常数。所用方法依赖于对称性、群作用的几何、分岔以及Artin隐函数定理。
引用
@article{arxiv.2003.10576,
title = {Symmetry & critical points for a model shallow neural network},
author = {Yossi Arjevani and Michael Field},
journal= {arXiv preprint arXiv:2003.10576},
year = {2021}
}