关于线性瓶颈网络及其向多线性的过渡
机器学习
2022-07-01 v1 机器学习
摘要
随机初始化的宽神经网络在初始化点周围半径为 的球内，随着宽度增大而过渡为权重的线性函数。该结果的一个必要条件是网络所有层都足够宽，即所有宽度趋于无穷。然而，当这一无限宽假设被违背时，向线性的过渡便失效。本工作中我们证明，具有瓶颈层的线性网络在初始化点周围半径为 的球内学习权重的双线性函数。一般地，对于 个瓶颈层，网络是权重的 次多线性函数。重要的是，次数仅依赖于瓶颈的数量，而非网络的总深度。
引用
@article{arxiv.2206.15058,
title = {A note on Linear Bottleneck networks and their Transition to Multilinearity},
author = {Libin Zhu and Parthe Pandit and Mikhail Belkin},
journal= {arXiv preprint arXiv:2206.15058},
year = {2022}
}