Kolmogorov-Arnold 网络的初始化方案：一次实证研究
机器学习
2026-03-31 v3
摘要
Kolmogorov-Arnold 网络（KANs）是一种新近提出的神经网络架构，用可训练的激活函数取代固定的非线性函数，提供了更大的灵活性和可解释性。尽管KANs在科学和机器学习任务中成功应用，但其初始化策略仍基本未被探索。本文研究了基于样条的KANs的初始化方案，提出两种受 LeCun 和 Glorot 启发的理论驱动方法，以及一个具有可调指数的经验幂律家族。我们的评估结合了大规模网格搜索（用于函数拟合和前向 PDE 基准）、通过神经切向核（NTK）视角分析训练动力学，以及对 Feynman 数据集子集的评估。我们的发现表明，Glorot 启发的初始化在参数丰富的模型中显著优于基线，而幂律初始化在整体上实现最佳性能，无论是在任务之间还是在不同规模的架构上。本文附带的所有代码和数据均已公开于 https://github.com/srigas/KAN_Initialization_Schemes。
引用
@article{arxiv.2509.03417,
title = {Initialization Schemes for Kolmogorov-Arnold Networks: An Empirical Study},
author = {Spyros Rigas and Dhruv Verma and Georgios Alexandridis and Yixuan Wang},
journal= {arXiv preprint arXiv:2509.03417},
year = {2026}
}
备注
Accepted in ICLR 2026