AC-PKAN：基于注意力机制与切比雪夫多项式的物理信息Kolmogorov-Arnold网络
机器学习
2026-01-19 v2 人工智能
摘要
Kolmogorov-Arnold网络（KANs）最近在求解偏微分方程（PDE）方面展现出巨大的潜力。然而，其原始形式在计算和内存上都非常昂贵，这促使引入基于切比雪夫Ⅰ类型的KANs（Chebyshev1KANs）。尽管切比雪夫1KANs已超越原始KANs架构，但我们的严格理论分析揭示，它们仍存在秩崩溃问题，最终限制了其表达能力。为克服这些限制，我们通过集成具有可学习参数的小波激活多层感知机（MLP）和内部注意力机制来增强切比雪夫1KANs。我们证明了该设计保留了完整的雅可比矩阵，并能够近似求解任意阶数的偏微分方程。此外，为缓解切比雪夫多项式基函数引入的损失不稳定性和不平衡问题，我们外部引入残差梯度注意力（RGA）机制，以根据梯度范数和残差大小动态重新加权 individual loss 项。通过联合利用内部和外部注意力，我们提出了AC-PKAN，这是一种对弱监督物理信息神经网络（PINNs）的新型架构，扩展了KANs的表达能力。九个基准任务（跨三个领域）的实验结果表明，AC-PKAN始终优于或相当于PINNsFormer等最先进模型，证明其在零样本或数据稀疏场景下解决复杂实际工程问题具有高度有效性。代码将在接受后公开发布。
引用
@article{arxiv.2505.08687,
title = {AC-PKAN: Attention-Enhanced and Chebyshev Polynomial-Based Physics-Informed Kolmogorov-Arnold Networks},
author = {Hangwei Zhang and Zhimu Huang and Yan Wang},
journal= {arXiv preprint arXiv:2505.08687},
year = {2026}
}