Kolmogorov-Arnold 网络中的灾难性遗忘

灾难性遗忘是持续学习中的经典难题，即当学习新任务时，模型会丢失对先前任务的知识。虽然针对多层感知器（MLP）的各种缓解策略已提出，但近期的架构进步如Kolmogorov-Arnold 网络（KANs）被认为能够通过利用局部样条激活函数而天然抗�遗忘。然而，KANs 在持续学习情境下的实际行为仍不明确，其局限性亦未充分理解。为此，本文对KANs中的灾难性遗忘进行全面研究，构建理论框架将遗忘关联至激活支持重叠度与内在数据维度。我们通过在合成数据集和视觉任务上的系统实验验证这些分析，在不同模型配置和数据复杂度下测量遗忘动态。进一步引入KAN-LoRA，一种用于参数高效持续微调语言模型的新型适配器设计，并评估其在知识编辑任务中的效果。我们的发现表明，尽管KANs在低维算法设置下展现出有前景的保留能力，但在高维领域（如图像分类和语言建模）中仍然容易受到遗忘。这些结果推进了对KANs优势与局限的理解，为持续学习系统设计提供了实用见解。