大深度网络的隐式偏置：非线性函数的一种秩概念
机器学习
2023-03-27 v4 人工智能
机器学习
摘要
我们证明了具有齐次非线性的全连接神经网络的表示代价——它描述了具有 正则化或交叉熵等损失的网络在函数空间中的隐式偏置——随着网络深度趋于无穷而收敛到一种关于非线性函数的秩概念。接着我们探究在何种条件下损失的全局最小值能够恢复数据的“真实”秩：我们表明，对于过大的深度，全局最小值将近似为秩 1（低估了秩）；然后我们论证存在一个随数据点数量增长的深度范围，在该范围内真实秩可被恢复。最后，我们讨论了分类器的秩对所得类别边界拓扑的影响，并表明具有最优非线性秩的自编码器天然具有去噪性。
引用
@article{arxiv.2209.15055,
title = {Implicit Bias of Large Depth Networks: a Notion of Rank for Nonlinear Functions},
author = {Arthur Jacot},
journal= {arXiv preprint arXiv:2209.15055},
year = {2023}
}