Kolmogorov 叠加定理在逼近高维函数时可打破维数灾难
数值分析
2025-10-06 v6 数值分析
摘要
我们阐释如何利用 Kolmogorov 叠加定理 (KST) 在逼近一类稠密的多变量连续函数时打破维数灾难。我们首先证明，在 中存在一类称为 Kolmogorov-Lipschitz (KL) 连续的函数，它可被一个含两个隐藏层的特殊 ReLU 神经网络以独立于维数的逼近速率 逼近，其逼近常数随 二次增长。该神经网络逼近所用参数个数为 。接下来我们引入 KB-样条，用线性 B-样条替代外层函数，并对 KB-样条进行光滑化得到所谓的 LKB-样条作为逼近基。我们的数值证据表明维数灾难在如下意义下被打破：当使用标准离散最小二乘 (DLS) 方法逼近连续函数时，在 中存在一个大小至多为 的关键点集，使得基于该关键点集的 DLS 的均方根误差 (RMSE) 与基于大小为 的原始集的 DLS 的 RMSE 相近。该关键点集通过矩阵交叉逼近技术选取，用于逼近的 LKB-样条数目与该关键点集大小相同。因此，我们无需过多基函数也无需过多函数值即可逼近高维连续函数 。从而，本文的研究为降维问题提供了一种途径。
引用
@article{arxiv.2112.09963,
title = {The Kolmogorov Superposition Theorem can Break the Curse of Dimensionality When Approximating High Dimensional Functions},
author = {Ming-Jun Lai and Zhaiming Shen},
journal= {arXiv preprint arXiv:2112.09963},
year = {2025}
}