KAN 与 MLP 在非规则或含噪函数上的比较
机器学习
2024-08-16 v1 人工智能
数值分析
神经与进化计算
数值分析
摘要
在本文中，我们比较了 Kolmogorov-Arnold 网络（KAN）与多层感知器（MLP）网络在非规则或含噪函数上的性能。我们控制了参数数量和训练样本的大小以确保公平比较。为清晰起见，我们将函数分为六种类型：规则函数、具有局部不可微点的连续函数、具有跳跃间断点的函数、具有奇异点的函数、具有相干振荡的函数以及含噪函数。我们的实验结果表明，KAN 并非总是表现最佳。对于某些类型的函数，MLP 的性能优于 KAN 或与之相当。此外，增加训练样本的大小可以在一定程度上提高性能。当向函数添加噪声时，非规则特征常常被噪声掩盖，这使得 MLP 和 KAN 都难以有效提取这些特征。我们希望这些实验能为未来的神经网络研究提供有价值的见解，并鼓励进一步的研究以克服这些挑战。
引用
@article{arxiv.2408.07906,
title = {KAN versus MLP on Irregular or Noisy Functions},
author = {Chen Zeng and Jiahui Wang and Haoran Shen and Qiao Wang},
journal= {arXiv preprint arXiv:2408.07906},
year = {2024}
}