AF-KAN：基于激活函数的 Kolmogorov-Arnold 网络用于高效表示学习

Kolmogorov-Arnold Networks (KANs) 启发了大量探索其在广泛科学问题中应用的研究，并具有替代 Multilayer Perceptrons (MLPs) 的潜力。虽然许多 KAN 是基于基函数和多项式函数（如 B-splines）设计的，但 ReLU-KAN 利用 ReLU 函数的组合来模拟 B-splines 的结构并发挥 ReLU 的速度优势。然而，ReLU-KAN 并非为多输入而构建，其局限性源于 ReLU 对负值的处理方式，这可能限制特征提取。为解决这些问题，我们引入了 Activation Function-Based Kolmogorov-Arnold Networks (AF-KAN)，利用各种激活函数及其函数组合对 ReLU-KAN 进行扩展。这种新型 KAN 还结合了参数缩减方法，主要是注意力机制和数据归一化，以提升在图像分类数据集上的性能。我们探索了不同的激活函数、函数组合、网格大小和样条阶数，以验证 AF-KAN 的有效性并确定其最佳配置。在实验中，AF-KAN 在相同参数量下显著优于 MLP、ReLU-KAN 和其他 KAN。即使在参数量减少 6 到 10 倍的情况下，它也能保持竞争力，同时维持相同的网络结构。然而，AF-KAN 需要更长的训练时间并消耗更多的 FLOPs。本工作的代码库可在 https://github.com/hoangthangta/All-KAN 获取。