宽神经网络的线性化转变是集成弱模型涌现的性质
机器学习
2022-03-11 v1
摘要
具有线性输出层的宽神经网络已被证明在包含梯度下降优化路径的区域内近似线性，且具近似恒定的神经切核（NTK）。这些发现看似反直觉，因为一般而言神经网络是高度复杂的模型。为何当网络变宽时会出现线性结构？本工作中，我们将神经网络视为由对应单个神经元的一组子模型递归构建的集成模型，从而对这一“线性化转变”提供新视角。在此观点下，我们表明宽神经网络的线性实际上是集成大量多样“弱”子模型（其中无一主导该集成）所涌现的性质。
引用
@article{arxiv.2203.05104,
title = {Transition to Linearity of Wide Neural Networks is an Emerging Property of Assembling Weak Models},
author = {Chaoyue Liu and Libin Zhu and Mikhail Belkin},
journal= {arXiv preprint arXiv:2203.05104},
year = {2022}
}
备注
Published at ICLR 2022 (spotlight paper)