关于 Kolmogorov-Arnold 网络的训练

Kolmogorov-Arnold 网络最近被提出作为多层感知器架构的灵活替代方案。本文研究了不同 KAN 架构的训练动力学，并将其与对应的 MLP 公式进行比较。我们使用多种不同的初始化方案、优化器和学习率进行训练，并利用无反向传播的方法如 HSIC Bottleneck。我们发现（以测试准确率为评判标准），KAN 在高维数据集上是 MLP 架构的有效替代方案，具有更好的参数效率，但训练动力学不够稳定。最后，我们为改善更大 KAN 模型的训练稳定性提供了建议。