架构扩展超越基复杂度？单参数高效 K 网络
人工智能
2026-01-22 v2
摘要
Kolmogorov-Arnold 网络（KAN）的格局正在迅猛扩张，但缺乏统一的理论框架和清晰的高效架构设计原则。本文针对上述问题提出三大核心贡献。首先，我们引入 Universal KAN（Uni-KAN）框架，这是一种新型抽象，形式化统一了所有 KAN 风格网络，包括稠密与稀疏表征。我们证明了它们的可互换性，并提供开源库以便于未来研究。其次，我们提出 Efficient KAN Expansion（EKE）假设，即将参数分配给架构扩展而非基函数复杂度可获得更佳性能。最后，我们呈现 Single-Parameter KAN（SKAN），一类超轻量级网络，体现了 EKE 假设。我们的全面实验提供了对基函数光滑性对稳定训练至关重要性的首次强有力经验验证。此外，SKAN 显示现代技术水平，F1 分数提升最高可达 6.51%，测试损失降低 93.1%，训练速度最快可达现有 KAN 变体的6倍。这些结果为设计下一代高效且强大的神经网络提供了稳健的框架、指导假设及实用方法。代码已公开于 https://anonymous.4open.science/r/SKAN-EBBB/。
引用
@article{arxiv.2410.14951,
title = {Architectural Scaling Surpass Basis Complexity? Efficient KANs with Single-Parameter Design},
author = {Zhijie Chen and Xinglin Zhang and Hongshu Guo and Yue-Jiao Gong},
journal= {arXiv preprint arXiv:2410.14951},
year = {2026}
}
备注
Major update: This is a comprehensive version that introduces the SKANs and integrates the methodology from arXiv:2410.19360. This version supersedes arXiv:2410.19360. 12 pages, 10 figures