使用Newton-Kaczmarz方法构造Kolmogorov-Arnold表示

众所周知，任何连续多元函数都可以由单变量函数的复合精确表示——即所谓的Kolmogorov-Arnold表示。对于需要获得将黑盒系统的某向量输入映射为标量输出的预测模型的任务，它可以是一个便利的工具。在这种情况下，表示可能不精确，更正确地将此类结构称为Kolmogorov-Arnold模型（或如近来更流行的叫法，“网络”）。基于记录输入输出数据构造此类模型是一项具有挑战性的任务。本文建议将表示中的底层函数分解为连续基函数与参数。然后提出使用Newton-Kaczmarz方法求解非线性方程组来求取参数。该算法随后被改进以支持并行化。本文证明了该方法也是数据驱动求解偏微分方程的优秀工具。数值算例表明，对于所考虑的模型，用于参数估计的Newton-Kaczmarz方法比直接应用Gauss-Newton方法更高效，且对初值的选取更鲁棒。最后，在一个相对大规模问题（25个输入，1000万条记录的数据集）上将Kolmogorov-Arnold模型与MATLAB内置神经网络进行比较，在该特定问题上显著优于多层感知机（MLPs）（训练时间4-10分钟对比4-8小时，且精度更高、CPU占用更低、内存占用更小）。