线性层在非线性插值网络中的作用
机器学习
2022-02-03 v1
摘要
本文探讨了深度大于两层的过参数化神经网络的隐式偏置。我们的框架考虑一族深度不同但容量相同、且具有不同隐式定义表示代价的网络。由神经网络架构诱导的函数的表示代价是该网络表示该函数所需的最小权重平方和；它反映了与该架构相关的函数空间偏置。我们的结果表明，向 ReLU 网络添加线性层会产生一种反映 ReLU 单元的对齐与稀疏性之间复杂相互作用的表示代价。具体而言，使用神经网络以最小表示代价拟合训练数据，会得到一种插值函数，该函数在垂直于存在简约插值子的低维子空间的方向上为常数。
引用
@article{arxiv.2202.00856,
title = {The Role of Linear Layers in Nonlinear Interpolating Networks},
author = {Greg Ongie and Rebecca Willett},
journal= {arXiv preprint arXiv:2202.00856},
year = {2022}
}