利用KAN进行多通道MLP的 preconditioning 与几何细化加速训练

多层感知器(MLP)是一种在各种现代深度学习框架中使用的工作马架构。然而，最近的Kolmogorov-Arnold网络(KAN)因其在一系列问题上的成功，尤其是在科学机器学习任务中，变得越来越受欢迎。本文利用KAN与多通道MLP之间的关系，以获得训练MLP更快的结构见解。我们展示KAN基(1)提供几何局部支持，(2)充当ReLU基中的 preconditioned 下降，总体上导致训练加速和准确率提高。我们的结果显示，free-knot spline KAN架构与一类在每个权重张量的通道维度上进行几何细化的MLP在等价。我们利用这种结构等价性，定义一种层次化细化方案，显著加快了多通道MLP架构的训练。我们进一步展示，通过允许$spline$节点位置在与权重同时训练的情况下，还可获得进一步的准确性改进。这些进展在回归和科学机器学习的各种基准示例上得到演示。