具有瓶颈的无限宽神经网络中的隐式加速与特征学习
机器学习
2021-07-05 v2
摘要
我们分析了具有有限大小瓶颈的无限宽神经网络的学习动态。与神经正切核极限不同，在 otherwise 无限宽的网络中，瓶颈允许在其瓶颈表示中进行数据依赖的特征学习。我们通过实验表明，与纯无限网络相比，无限网络中的单个瓶颈显著加速了训练，并改善了整体性能。我们通过类比无限宽深度线性模型来讨论这一加速现象，其中瓶颈的加速效应可以从理论上理解。
引用
@article{arxiv.2107.00364,
title = {Implicit Acceleration and Feature Learning in Infinitely Wide Neural Networks with Bottlenecks},
author = {Etai Littwin and Omid Saremi and Shuangfei Zhai and Vimal Thilak and Hanlin Goh and Joshua M. Susskind and Greg Yang},
journal= {arXiv preprint arXiv:2107.00364},
year = {2021}
}