中文

射影Kolmogorov-Arnold神经网络(P-KANs):基于熵的函数空间发现用于可解释机器学习

机器学习 2025-12-01 v3 人工智能 信号处理

摘要

Kolmogorov-Arnold网络(KANs)将可学习的非线性函数从节点移动到边上,在科学机器学习和可解释建模中展现出惊人的能力。然而,当前的KAN实现因高维样条参数空间中的冗余而存在根本性效率低下,大量不同的参数化方式产生功能上等价的行为。这种冗余在模型的雅可比矩阵中表现为“扰动空间”,导致模型易受过拟合和泛化能力差的影响。我们提出射影Kolmogorov-Arnold网络(P-KANs),一种新型训练框架,通过信号分析和稀疏字典学习中的熵最小化技术引导边缘功能发现向可解释的函数表征方向。与将函数限制在预定空间不同,我们的方法保持样条空间的灵活性,同时引入“引力”术语,鼓励收敛至最优功能表征。我们的关键洞察认识到,最优表征可通过投影系数的熵分析来识别,将边缘函数压缩到较低参数的射影空间(傅里叶、切比雪夫、贝塞尔)。P-KANs在多个领域展示出卓越的性能,在保持表征能力的同时实现了最高80%的参数降低,对噪声鲁棒性显著优于标准KANs,并成功应用于工业自动纤维放置预测。我们的做法实现了边缘收敛到不同最优空间的混合功能表征的自动发现,为科学机器学习应用提供了压缩优势和增强可解释性。

关键词

引用

@article{arxiv.2509.20048,
  title  = {Manifold-Aware Diffusion-Augmented Contrastive Learning for Noise-Robust Biosignal Representation},
  author = {Rami Zewail},
  journal= {arXiv preprint arXiv:2509.20048},
  year   = {2025}
}