关于KAN的表达能力和谱偏置

Kolmogorov-Arnold网络（KAN）最近被提出，作为许多深度学习模型中普遍使用的骨干架构——多层感知器（MLP）的潜在替代方案。KAN已在AI for Science的各种任务中取得成功，其在函数回归、偏微分方程求解等方面的经验效率和准确性已得到证明。在本文中，我们重点从理论角度比较KAN和MLP。一方面，我们比较了KAN和MLP的表示和逼近能力。我们证明了MLP可以用规模相当的KAN来表示，这表明KAN的逼近和表示能力至少与MLP相当。相反，我们表明KAN也可以用MLP来表示，但在此表示中参数数量会增加KAN网格大小的倍数。这表明，在逼近某些函数时，具有大网格大小的KAN可能比MLP更高效。另一方面，从学习和优化的角度，我们研究了KAN相对于MLP的谱偏置。我们证明KAN对低频的偏置小于MLP。我们强调KAN特有的多级学习特性，即样条的网格扩展，改善了高频分量的学习过程。我们对不同深度、宽度和网格大小的KAN进行了详细比较，为实践中如何选择超参数提供了一些启示。