通过元学习提高 KANs 训练内存效率
机器学习
2025-06-10 v1
摘要
受 Kolmogorov-Arnold 表示定理的启发，KANs 通过将传统神经网络权重替换为可学习的单变量函数，提供了一种新型函数逼近框架。该设计在作为传统 MLP 的高效且可解释的替代方案方面展现出巨大的潜力。然而，KANs characterized by substantially larger number of trainable parameters，导致其在内存效率和更高训练成本方面与 MLPs 形成对比。为此，我们提出通过较小的 meta-learner 生成 KANs 的权重，称为 MetaKANs。通过以 end-to-end 可微的方式训练 KANs 和 MetaKANs，MetaKANs 在保持良好可解释性的同时，实现了与甚至优于传统方法的性能，同时显著减少了可训练参数的数量。针对符号回归、偏微分方程求解和图像分类等多样化基准任务进行了广泛实验，证明了 MetaKANs 在提高参数效率和内存使用方面的有效性。该方法为训练 KANs 提供了一种替代技术，使其更具可扩展性和可扩展性，缩小了与 MLPs 在训练成本上的差距。我们的实现代码已公开于 https://github.com/Murphyzc/MetaKAN。
引用
@article{arxiv.2506.07549,
title = {Improving Memory Efficiency for Training KANs via Meta Learning},
author = {Zhangchi Zhao and Jun Shu and Deyu Meng and Zongben Xu},
journal= {arXiv preprint arXiv:2506.07549},
year = {2025}
}
备注
ICML 2025