参数降低的Kolmogorov-Arnold网络（PRKAN）
机器学习
2025-02-12 v4
摘要
Kolmogorov-Arnold 网络（KANs）代表了一种神经网络架构的创新，为诸如卷积神经网络（CNNs）、循环神经网络（RNNs）和转换器（Transformers）等模型提供了对多层感知器（MLPs）的有力替代方案。通过推进网络设计，KANs 推动了突破性的研究，使其在涉及神经网络的各种科学领域中实现变革性应用。然而，现有的 KANs 通常需要比 MLPs 在网络层中更多的参数。为了解决这一限制，本文引入 PRKANs（Parameter-Reduced Kolmogorov-Arnold Networks），其采用多种方法来降低 KAN 层的参数数量，使其与 MLP 层相当。在 MNIST 和 Fashion-MNIST 数据集上的实验结果表明，PRKANs 在多个现有 KANs 方面表现优异，其带有注意力机制的变体在略长的训练时间下，性能与 MLPs 相当。此外，本研究突显了高斯径向基函数（GRBFs）和层归一化在 KAN 设计中的优势。该工作的仓库地址为：https://github.com/hoangthangta/All-KAN。
引用
@article{arxiv.2501.07032,
title = {PRKAN: Parameter-Reduced Kolmogorov-Arnold Networks},
author = {Hoang-Thang Ta and Duy-Quy Thai and Anh Tran and Grigori Sidorov and Alexander Gelbukh},
journal= {arXiv preprint arXiv:2501.07032},
year = {2025}
}
备注
24 pages