Kolmogorov-Arnold 证明如何照亮神经网络学习
数值分析
2024-10-14 v1 机器学习
数值分析
摘要
Kolmogorov 和 Arnold 在回答 Hilbert 的第 13 题（在连续函数的上下文中）时，奠定了现代神经网络（NN）理论的基础。他们的证明将多变量函数的表示分为两个步骤：第一个（非线性）层间映射为数据流形到单个隐藏层的通用嵌入，其图像以特定方式呈现，以便后续动力学可定义来求解第二个层间映射。我将这种模式解释为对几乎处处定义的层间 Jacobian 的“次要浓度”。次要浓度相当于 Jacobian 高阶外积的稀疏性。我们提出了概念性论点，说明这种稀疏性如何为今天深度 NN 中逐级更高阶概念的出现奠定基础，并建议两种实验类目来检验此假设。
引用
@article{arxiv.2410.08451,
title = {The Proof of Kolmogorov-Arnold May Illuminate Neural Network Learning},
author = {Michael H. Freedman},
journal= {arXiv preprint arXiv:2410.08451},
year = {2024}
}