PowerMLP：KAN的高效版本
机器学习
2024-12-19 v1 数值分析
数值分析
摘要
Kolmogorov-Arnold网络（KAN）是一种新型网络架构，以在函数拟合和偏微分方程求解等多项任务中的高精度而闻名。KAN优越的表达能力源于Kolmogorov-Arnold表示定理和可学习的样条函数。然而，样条函数的计算涉及多次迭代，导致KAN的速度明显慢于MLP，从而增加了模型训练和部署的成本。KAN的作者也指出，“KAN的最大瓶颈在于其训练速度慢。在相同参数数量下，KAN通常比MLP慢10倍。”为解决这一问题，我们提出了一种新型MLP型神经网络PowerMLP，它采用更简单的非迭代样条函数表示，训练时间与MLP大致相同，同时在理论上展现出比KAN更强的表达能力。此外，我们比较了KAN和PowerMLP的FLOPs，量化了PowerMLP更快的计算速度。我们的综合实验表明，在各种任务中，PowerMLP通常能达到更高的精度，且训练速度比KAN快约40倍。
引用
@article{arxiv.2412.13571,
title = {PowerMLP: An Efficient Version of KAN},
author = {Ruichen Qiu and Yibo Miao and Shiwen Wang and Lijia Yu and Yifan Zhu and Xiao-Shan Gao},
journal= {arXiv preprint arXiv:2412.13571},
year = {2024}
}