桥接 KAN 与 MLP：兼具效率与表达性的 MJKAN 混合架构
机器学习
2025-07-08 v1 人工智能
计算机视觉与模式识别
摘要
Kolmogorov-Arnold 网络（KAN）因将固定激活函数替换为可学习的单变量函数而受到关注，但在实际应用中存在高计算成本和在一般分类任务中性能不足的局限。本文提出调制联合 KAN（MJKAN），一种新型神经网络层，旨�解决上述挑战。MJKAN 将类似 FiLM（特征线性调制）机制与径向基函数（RBF）激活集成，构建一种混合架构，兼具 KAN 的非线性表达能力与多层感知器（MLP）的效率。我们在多样化基准测试中实证验证了 MJKAN 的性能，包括函数回归、图像分类（MNIST、CIFAR-10/100）以及自然语言处理（AG News、SMS Spam）。结果表明，MJKAN 在函数回归任务中实现卓越的逼近能力，显著超越 MLP，随基函数数量增加性能不断提升。相反，在图像和文本分类中，其表现与 MLP 具竞争力，但揭示了对基函数数量的关键依赖。我们发现，较小的基函数规模对更好的泛化至关重要，强调模型容量必须根据数据复杂度进行精细调控，以防止过拟合。总之，MJKAN 提供了一种灵活的架构，继承了 KAN 的理论优势，同时提升了计算效率和实际可行性。
引用
@article{arxiv.2507.04690,
title = {Bridging KAN and MLP: MJKAN, a Hybrid Architecture with Both Efficiency and Expressiveness},
author = {Hanseon Joo and Hayoung Choi and Ook Lee and Minjong Cheon},
journal= {arXiv preprint arXiv:2507.04690},
year = {2025}
}