Kolmogorov-Arnold 网络的泛化界限与模型复杂度
机器学习
2024-12-05 v2 神经与进化计算
机器学习
摘要
Kolmogorov-Arnold 网络（KAN）是 Liu 等人于 2024 年提出的一种网络结构，相较于多层感知器，在许多科学任务中具有更好的可解释性和更简洁的设计。本文对 KAN 提供严格的理论分析，通过建立 KAN 所搭载激活函数的泛化界限，这些激活函数要么是由基函数的线性组合表示，要么位于秩较低的再生核希尔伯特空间（RKHS）中。在前者情况下，泛化界限能够容纍构成 KAN 每一层激活函数的各种基函数选择，并适配不同层的算子范数。对于特定的算子范数选择，界限随系数矩阵的 范数以及激活函数的 Lipschitz 常数而扩展，且不依赖于对数因子之外的组合参数（如节点数）。此外，本文结果无需对损失函数进行有界性假设，因此适用于更广泛的回归型损失函数。在低秩情况下，泛化界限随底层秩以及每层激活函数的 Lipschitz 常数多项式增长。这些界限针对使用随机梯度下降在模拟数据和真实数据集上训练的 KAN 进行了实证检验。数值结果表明，这些界限在实际中具有重要意义。
引用
@article{arxiv.2410.08026,
title = {Generalization Bounds and Model Complexity for Kolmogorov-Arnold Networks},
author = {Xianyang Zhang and Huijuan Zhou},
journal= {arXiv preprint arXiv:2410.08026},
year = {2024}
}