Kolmogorov--Arnold 网络的低张量秩适配
机器学习
2025-02-17 v2 人工智能
摘要
Kolmogorov--Arnold 网络（KANs）在科学相关任务中已显示出作为多层感知机（MLPs）的潜在替代方案。然而，KANs 的迁移学习仍为相对未探索的领域。本文灵感来自张量的 Tucker 分解以及 KAN 参数更新中低张量秩结构的证据，发展出针对 KAN 微调的低张量秩适配（LoTRA）。我们基于 Tucker 分解近似研究了 LoTRA 的表达性。此外，我们提供了理论分析，以选择 LoTRA 每个组件的学习率，以实现高效训练。我们的分析还表明，跨所有组件使用相同的学习率会导致训练效率低下，凸显了需要自适应学习率策略的必要性。除理论见解外，我们探索了 LoTRA 用于通过微调 KANs 高效求解各种偏微分方程（PDEs）。此外，我们提出了 Slim KANs，通过纳入 KAN 参数张量固有的低张量秩特性来减少模型大小，同时保持卓越的性能。实验结果验证了所提学习率选择策略的有效性，并展示了 LoTRA 在求解 PDEs 的 KANs 迁移学习中之有效性。进一步的评估在函数表示和图像分类任务中针对 Slim KANs，突显了 LoTRA 的表达性以及通过低张量秩分解实现参数降低的潜力。
引用
@article{arxiv.2502.06153,
title = {Low Tensor-Rank Adaptation of Kolmogorov--Arnold Networks},
author = {Yihang Gao and Michael K. Ng and Vincent Y. F. Tan},
journal= {arXiv preprint arXiv:2502.06153},
year = {2025}
}