KAN：Kolmogorov-Arnold网络
机器学习
2025-02-11 v5 无序系统与神经网络
人工智能
机器学习
摘要
致力于Kolmogorov-Arnold表示定理，我们提出Kolmogorov-Arnold Networks (KANs)作为多层感知器(MLP)的有前景替代方案。虽然MLP在节点上使用固定激活函数(即"神经元"），但KANs在边上使用可学习的激活函数(即"权重"）。KANs几乎不包含线性权重——所有权重参数均被替换为以样条函数为参数的单变量函数。我们表明，这一看似简单的改动使KANs在准确率和可解释性方面均优于MLP。就准确率而言，规模更小的KANs可在数据拟合和偏微分方程求解中实现与规模更大的MLP相当或更好的准确率。从理论和实证角度看，KANs的神经尺度律比MLP更快。就可解释性而言，KANs可以直观可视化，并且可以轻松地与人类用户进行交互。通过数学和物理中的两个示例，展示了KANs作为帮助科学家(重新)发现数学和物理规律的有用合作伙伴。总之，KANs是MLP的有前景替代方案，为进一步改进依赖MLP的当代深度学习模型开辟了机遇。
引用
@article{arxiv.2404.19756,
title = {KAN: Kolmogorov-Arnold Networks},
author = {Ziming Liu and Yixuan Wang and Sachin Vaidya and Fabian Ruehle and James Halverson and Marin Soljačić and Thomas Y. Hou and Max Tegmark},
journal= {arXiv preprint arXiv:2404.19756},
year = {2025}
}
备注
Accepted by International Conference on Learning Representations (ICLR) 2025 (conference version: https://openreview.net/forum?id=Ozo7qJ5vZi). Codes are available at https://github.com/KindXiaoming/pykan