含噪声函数上Kolmogorov-Arnold网络效能降低
机器学习
2024-07-23 v1 人工智能
数值分析
数值分析
摘要
有观察到，即使在数据集中引入少量噪声，也会显著降低KAN（Kolmogorov-Arnold网络）的性能。为量化评估噪声添加后性能，我们提出一种结合去噪的过采样技术，以缓解噪声的影响。具体而言，我们采用基于扩散图的核滤波，用于对训练KAN网络的噪声数据进行预滤波。我们的实验表明，尽管在固定信噪比（SNR）下添加独立同分布噪声，当我们以因子r增加训练数据的量时，KAN的测试损失（RMSE）将呈现类似test-loss ~ O(r^(-1/2))的性能趋势。我们得出结论，应用两种过采样和滤波策略可减少噪声的有害影响。然而，确定核滤波过程的最优方差具有挑战性，并且大幅增加训练数据的量也会显著增加相关成本，因为需要相对于初始干净数据进行多次扩展数据集。结果表明，数据中的噪声最终削弱了Kolmogorov-Arnold网络的有效性。
关键词
引用
@article{arxiv.2407.14882,
title = {Reduced Effectiveness of Kolmogorov-Arnold Networks on Functions with Noise},
author = {Haoran Shen and Chen Zeng and Jiahui Wang and Qiao Wang},
journal= {arXiv preprint arXiv:2407.14882},
year = {2024}
}