LeanKAN：参数精简的Kolmogorov-Arnold网络层及其内存效率与收敛性改进

最近提出的Kolmogorov-Arnold网络 (KAN) 是一种针对数据驱动建模的有前景的替代方案，能够替代多层感知器 (MLP)。虽然原始 KAN 层仅能表示加法运算符，但最近提出的 MultKAN 层尝试通过组合加法和乘法子节点来提高表示性能。然而，我们发现 MultKAN 层存在若干关键缺陷，包括在输出层中的有限适用性、参数化冗余且包含不必要的激活，以及包含复杂超参数。为此，我们提出了 LeanKANs，作为 MultKAN 和传统 AddKAN 层的直接且模块化的替代方案。LeanKANs 通过通用适用性作为输出层、针对给定网络结构的显著降低参数数量以及较少的超参数集合来解决 MultKAN 的这三项缺陷。作为标准 AddKAN 和 MultKAN 层的一对一层替换，LeanKAN 能够为传统 KAN 学习问题以及作为 backbone 的增强 KAN 结构（如 KAN ODE 或 Deep Operator KAN）提供这些优势。我们在标准 KAN toy problem 以及通过 KAN-ODE 学习的常规和偏微分方程中进行一系列演示，发现其稀疏参数化和紧凑结构有助于提高表达性和学习能力，使其在各种任务中超过类似甚至更大的 MultKAN。