深度线性神经网络的复临界点
代数几何
2023-01-31 v1 机器学习
摘要
我们扩展了Mehta、Chen、Tang和Hauenstein关于在激活函数为恒等函数时计算深度线性神经网络损失函数复临界点的工作。对于在单个数据点训练的单隐藏层网络，我们给出了损失函数复临界点个数的改进上界。我们证明了对于任意数量的隐藏层，具有零坐标的复临界点以某些模式出现，我们对其在单隐藏层网络情形进行了完全分类。我们报告了使用HomotopyContinuation.jl定义小型深度线性网络、针对不同网络结构进行计算实验的结果。
引用
@article{arxiv.2301.12651,
title = {Complex Critical Points of Deep Linear Neural Networks},
author = {Ayush Bharadwaj and Serkan Hoşten},
journal= {arXiv preprint arXiv:2301.12651},
year = {2023}
}