训练深层物理信息 Kolmogorov-Arnold 网络
机器学习
2026-01-22 v2 计算物理
摘要
自 Kolmogorov-Arnold 网络（KANs）引入以来，它们已成功应用于多个领域，其中物理信息机器学习（PIML）正是其中一个茁壮成长的领域。在 PIML 设置下，基于切比雪夫的物理信息 KANs（cPIKANs）因其计算效率而成为标准。在 cPIKANs 和其基于多层感知器（MLP）的等价方法一样，面临在深度扩展时面临显著挑战，导致训练不稳定，限制了其在解决多个 PDE 问题时的适用性。为此，我们提出一种基于 Glorot 的初始化方案，这种方案对激活方差进行保持，并在稳定性和准确性方面显著优于 cPIKANs 的默认初始化。灵感来自 PirateNet 架构，我们进一步引入残差门控自适应 KANs（RGA KANs），旨在缓解深度 cPIKANs 中的发散，其中仅靠初始化是不够的。通过经验测试和信息瓶颈分析，我们表明 RGA KANs 成功地遍历了所有训练阶段，而基线 cPIKANs 在特定 PDE 设置下会在扩散阶段停滞。对九个标准前向 PDE 基准进行评估，在固定的训练管道中使用自适应组件，结果显示 RGA KANs 持续优于参数匹配的 cPIKANs 和 PirateNets——常常高出几个数量级——同时在其他人类 diver 稳定运行。
引用
@article{arxiv.2510.23501,
title = {Training Deep Physics-Informed Kolmogorov-Arnold Networks},
author = {Spyros Rigas and Fotios Anagnostopoulos and Michalis Papachristou and Georgios Alexandridis},
journal= {arXiv preprint arXiv:2510.23501},
year = {2026}
}
备注
84 pages