基于Kolmogorov-Arnold网络的计算机视觉持续学习初步研究
计算机视觉与模式识别
2024-09-30 v2 机器学习
摘要
深度学习长期以多层感知器（MLP）为主导，其在诸多领域展现出优势。近期涌现出一种替代MLP的新方法——Kolmogorov-Arnold网络（KAN），其基于根本不同的数学框架。根据其作者的说法，KAN解决了MLP在持续学习场景下遗忘问题等诸多主要问题。然而，这一论点仅在基于1维数据集的回归任务中得到验证。本文扩展了调查范围，通过在计算机视觉中的持续学习任务中评估KAN的性能，具体使用MNIST数据集。为此，我们对MLP与两种KAN模型在类递增学习场景下的行为进行结构化分析，确保所涉及的网络结构拥有相同的可训练参数数量。我们的结果表明，一种高效版本的KAN在准确率和稳定性方面优于传统MLP和原始KAN实现。我们进一步分析了MLP与KAN中超参数的影响，以及KAN中诸如偏置和比例权重等可训练参数的影响。此外，我们提供了对近期KAN-based卷积网络的初步探讨，并与传统卷积神经网络进行了比较。我们的代码可在 https://github.com/MrPio/KAN-Continual_Learning_tests 获取。
引用
@article{arxiv.2409.13550,
title = {A preliminary study on continual learning in computer vision using Kolmogorov-Arnold Networks},
author = {Alessandro Cacciatore and Valerio Morelli and Federica Paganica and Emanuele Frontoni and Lucia Migliorelli and Daniele Berardini},
journal= {arXiv preprint arXiv:2409.13550},
year = {2024}
}