机器学习中的 Kolmogorov 宽度衰减与劣质逼近器：浅层神经网络、随机特征模型与神经正切核
泛函分析
2020-10-05 v2 机器学习
机器学习
摘要
我们在一给定 Banach 空间的两个子空间之间，在序列线性映射在其中一个子空间上收敛远快的条件下，建立了 Kolmogorov 宽度类型的尺度分离。随后将该一般技术应用于表明：再生核 Hilbert 空间在高维下是两层神经网络类的劣质 -逼近器，且具小路径范数的多层网络是某些 Lipschitz 函数的劣质逼近器，同样在 -拓扑下。
引用
@article{arxiv.2005.10807,
title = {Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels},
author = {Weinan E and Stephan Wojtowytsch},
journal= {arXiv preprint arXiv:2005.10807},
year = {2020}
}