微分方程与算子网络中MLP与KAN表示的全面且FAIR比较
机器学习
2024-06-06 v1 计算物理
摘要
Kolmogorov-Arnold网络（KAN）最近被引入作为MLP的替代表示模型。在此，我们使用KAN构建物理信息机器学习模型（PIKAN）和深度算子模型（DeepOKAN），用于求解正问题和反问题的微分方程。特别地，我们将它们与基于标准MLP表示的物理信息神经网络（PINN）和深度算子网络（DeepONet）进行比较。我们发现，尽管基于B样条参数化的原始KAN缺乏精度和效率，但基于低阶正交多项式的修改版本具有与PINN和DeepONet相当的性能，尽管它们仍然缺乏鲁棒性，因为对于不同的随机种子或高阶正交多项式可能会发散。我们可视化了它们相应的损失景观，并使用信息瓶颈理论分析了它们的学习动态。我们的研究遵循FAIR原则，以便其他研究人员可以使用我们的基准来进一步推进这一新兴主题。
引用
@article{arxiv.2406.02917,
title = {A comprehensive and FAIR comparison between MLP and KAN representations for differential equations and operator networks},
author = {Khemraj Shukla and Juan Diego Toscano and Zhicheng Wang and Zongren Zou and George Em Karniadakis},
journal= {arXiv preprint arXiv:2406.02917},
year = {2024}
}