激活空间可选柯尔莫哥洛夫-阿诺德网络
机器学习
2024-08-19 v1
摘要
多层感知器（MLP）是当前人工智能的基本范式，广泛应用于计算机视觉和自然语言处理等领域。然而，最近提出的基于非线性加法连接的柯尔莫哥洛夫-阿诺德网络（KAN）已被证明能够以显著更少的参数达到与MLP相当的性能。尽管具有这种潜力，但单一激活函数空间的使用导致KAN及相关工作在不同任务上的性能下降。为解决这一问题，我们提出了激活空间可选柯尔莫哥洛夫-阿诺德网络（S-KAN）。S-KAN采用自适应策略，为每个前馈KAN节点选择数据的可能激活模式。我们的方法在七项代表性函数拟合任务上优于基线方法，并在相同参数水平下显著超越MLP方法。此外，我们扩展了S-KAN的结构，提出了激活空间可选卷积柯尔莫哥洛夫-阿诺德网络（S-ConvKAN），在四个通用图像分类数据集上取得了领先结果。我们的方法缓解了原始KAN在不同任务上的性能波动，并通过大量实验证明了具有可选激活的前馈KAN能够达到甚至超越基于MLP的方法。本工作有助于理解基于数据驱动的新AI范式的设计，并为基于KAN的网络架构创新提供了基础参考。
引用
@article{arxiv.2408.08338,
title = {Activation Space Selectable Kolmogorov-Arnold Networks},
author = {Zhuoqin Yang and Jiansong Zhang and Xiaoling Luo and Zheng Lu and Linlin Shen},
journal= {arXiv preprint arXiv:2408.08338},
year = {2024}
}
备注
12 pages, 6 figures. The code for this work will be released soon