单层隐藏稀疏网络及更一般情形的损失景观
机器学习
2022-05-18 v4 机器学习
摘要
稀疏神经网络由于相比稠密网络规模更小而受到越来越多的关注。然而，大多数现有的神经网络理论工作聚焦于稠密神经网络，对稀疏网络的理解非常有限。本文中，我们研究单层隐藏稀疏网络的损失景观。首先，我们考虑具有稠密最终层的稀疏网络。我们证明线性网络在特殊稀疏结构下可以没有伪山谷，而非线性网络在宽最终层下也可不存在伪山谷。其次，我们发现对于具有稀疏最终层的宽稀疏网络，伪山谷与伪极小值可能存在。这与在温和假设下不具有伪山谷的宽稠密网络不同。
引用
@article{arxiv.2009.07439,
title = {On the Landscape of One-hidden-layer Sparse Networks and Beyond},
author = {Dachao Lin and Ruoyu Sun and Zhihua Zhang},
journal= {arXiv preprint arXiv:2009.07439},
year = {2022}
}