探索在视觉 Transformer 中使用 Kolmogorov-Arnold 网络扩张以缓解持续学习中的灾难性遗忘
计算机视觉与模式识别
2025-07-08 v1
摘要
持续学习 (CL) —— 即模型在不忘记先前学习知识的前提下学习新任务的能力 —— 仍是人工智能领域的关键挑战，尤其是针对采用多层感知器 (MLP) 进行全局表示学习的视觉 Transformer (ViT)。在这些模型中，灾难性遗忘（即新信息覆盖先前知识）尤为棘手。本研究提出用 Kolmogorov-Arnold 网络 (KAN) 替换 ViT 中的 MLP，以解决此问题。KAN 利用基于样条的激活函数实现局部塑性，确保仅更新每个样本的子集参数，从而保留先前学习的知识。该研究探讨了 KAN-based ViT 在 CL 场景中应用的有效性，基于基准数据集 (MNIST、CIFAR100)，关注其在保持早期任务准确率的同时适应新任务的能力。实验结果表明，基于 KAN 的 ViT 在灾难性遗忘方面显著缓解了此问题，优于传统基于 MLP 的 ViT 在知识保留和任务适应方面表现更佳。这种将 KAN 集成到 ViT 中的新颖方法，代表了更健壮和适应性更强模型用于动态环境的有前景的一步。
引用
@article{arxiv.2507.04020,
title = {Exploring Kolmogorov-Arnold Network Expansions in Vision Transformers for Mitigating Catastrophic Forgetting in Continual Learning},
author = {Zahid Ullah and Jihie Kim},
journal= {arXiv preprint arXiv:2507.04020},
year = {2025}
}