基于谱分析的两层神经网络与线性方法之间的分离性
机器学习
2022-02-24 v2 机器学习
摘要
我们提出一种基于谱的方法，用以分析两层神经网络在逼近高维函数时与线性方法的分离程度。我们证明，对该分离性的量化可归结为估计两层神经网络的 Kolmogorov 宽度，而后者可借助一个关联核的谱进一步刻画。与以往工作不同，我们的方法能够以统一方式获得上界、下界并识别显式的困难函数。我们系统研究了激活函数的选择如何影响该分离性，特别是其对输入维度的依赖。具体而言，对于非光滑激活函数，我们将已知结果扩展至更多激活函数并得到更紧的界。作为具体示例，我们证明任意单个神经元均可体现神经网络与随机特征模型之间的分离。对于光滑激活函数，一个令人惊讶的发现是：除非内层权重的范数关于输入维度呈多项式级大，否则该分离可忽略不计。相比之下，非光滑激活函数的分离性与内层权重的范数无关。
引用
@article{arxiv.2108.04964,
title = {A spectral-based analysis of the separation between two-layer neural networks and linear methods},
author = {Lei Wu and Jihao Long},
journal= {arXiv preprint arXiv:2108.04964},
year = {2022}
}
备注
Accepted by Journal of Machine Learning Research