Kolmogorov-Arnold表示定理再探

关于Kolmogorov-Arnold表示定理能否解释神经网络中多于一个隐藏层的使用，长期以来存在争议。Kolmogorov-Arnold表示将多元函数分解为内部函数与外部函数，因此确实具有与含两个隐藏层的神经网络相似的结构。但二者存在显著区别。主要障碍之一是外部函数依赖于被表示函数，且即使被表示函数光滑，外部函数也可能剧烈变化。我们推导了Kolmogorov-Arnold表示的若干修正形式，将被表示函数的光滑性传递给外部函数，并可由ReLU网络良好逼近。结果表明，相比两个隐藏层，Kolmogorov-Arnold表示更自然的解释是一个深度神经网络，其中大多数层用于逼近内部函数。