基于 Kolmogorov-Arnold 定理与核函数的函数拟合
机器学习
2025-04-01 v1
摘要
本文提出了一个基于 Kolmogorov-Arnold 表示定理和核方法的统一理论框架。通过分析 Kolmogorov-Arnold Networks (KANs) 中的核、B 样条基函数与自注意力机制中内积运算之间的数学关系，我们建立了一个基于核的特征拟合框架，将这两种模型统一为核函数的线性组合。在该框架下，我们提出了一个低秩的伪多头自注意力模块 (Pseudo-MHSA)，将传统 MHSA 的参数量减少了近 50%。此外，我们设计了高斯核多头自注意力变体 (Gaussian-MHSA)，以验证非线性核函数在特征提取中的有效性。在 CIFAR-10 数据集上的实验表明，Pseudo-MHSA 模型在 MAE 框架下实现了与同维度的 ViT 模型相当的性能，可视化分析揭示了它们在多头分布模式上的相似性。我们的代码已公开。
引用
@article{arxiv.2503.23038,
title = {Function Fitting Based on Kolmogorov-Arnold Theorem and Kernel Functions},
author = {Jianpeng Liu and Qizhi Pan},
journal= {arXiv preprint arXiv:2503.23038},
year = {2025}
}
备注
19 pages, 12 figures