SineKAN：使用正弦激活函数的Kolmogorov-Arnold网络
机器学习
2025-01-28 v3 计算机视觉与模式识别
摘要
最近的工作表明，克服传统多层感知器神经网络的替代方案形式为Kolmogorov-Arnold网络（KAN）。通用KAN框架在计算图边缘上使用可学习激活函数，然后在节点上进行求和。原始实现中可学习的边缘激活函数为 B 样条函数（B-Spline）。本文提出一种模型，用可重加权的正弦函数网格（SineKAN）取代 B 样条激活函数网格。我们在基准视觉任务上评估了模型的数值性能。我们表明，该模型的表现优于或相当于 B 样条 KAN 模型，以及基于周期性余弦和正弦函数表示傅里叶级数的另一种KAN实现。进一步地，我们表明 SineKAN的数值精度可与稠密神经网络（DNN）相当。相对于两种基线KAN模型，SineKAN 在所有隐藏层大小、批量大小和深度下均实现了显著的速度提升。讨论了当前DNN由于硬件和软件优化带来的优势及其理论规模。此外，也讨论了SineKAN与其他KAN实现之间的属性以及当前限制。
引用
@article{arxiv.2407.04149,
title = {SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions},
author = {Eric A. F. Reinhardt and P. R. Dinesh and Sergei Gleyzer},
journal= {arXiv preprint arXiv:2407.04149},
year = {2025}
}
备注
14 pages, 11 figures