中文

多退出 Kolmogorov-Arnold 网络:提升精度与简洁性

机器学习 2025-08-22 v2 神经与进化计算 数据分析、统计与概率 机器学习

摘要

Kolmogorov-Arnold 网络(KANs)独特地将高精度与可解释性结合,使其对科学建模具有重要价值。然而,尚不清楚某一特定任务需要网络多深,更深的 KANs 在优化与解释方面可能存在困难。本文引入多退出 KANs, wherein 每一层包含自身的预测分支,使网络能够在多个深度同时作出精确预测。该架构通过深度监督提升训练效果,同时发现每个任务的最佳模型复杂度。多退出 KANs 在人工函数、动力系统和真实数据集上均一致优于标准单退出版本。值得注意的是,最佳预测往往来自较早、较简单的退出,揭示了这些网络自然识别出更小、更简洁且可解释的模型,而不牺牲精度。为自动化此发现过程,我们发展了可微的“学习型退出”算法,在训练期平衡各退出的贡献。我们的做法为科学家提供了一种实现高性能与可解释性实用方法,解决了机器学习在科学发现中的根本挑战。

关键词

引用

@article{arxiv.2506.03302,
  title  = {Multi-Exit Kolmogorov-Arnold Networks: enhancing accuracy and parsimony},
  author = {James Bagrow and Josh Bongard},
  journal= {arXiv preprint arXiv:2506.03302},
  year   = {2025}
}

备注

15 pages, 6 figures, 2 tables