KANICE：具有交互式卷积元素的Kolmogorov-Arnold网络
计算机视觉与模式识别
2024-10-23 v1 人工智能
摘要
我们介绍了KANICE（具有交互式卷积元素的Kolmogorov-Arnold网络），一种结合了卷积神经网络与Kolmogorov-Arnold网络原理的新型神经架构。KANICE将交互式卷积块和KAN线性层集成到CNN框架中。这利用了KAN的通用逼近能力和ICB的自适应特征学习。基于Kolmogorov-Arnold表示定理，KANICE能够捕捉复杂的非线性数据关系，同时实现动态的、上下文相关的特征提取。我们在四个数据集上评估了KANICE：MNIST、Fashion-MNIST、EMNIST和SVHN，并将其与标准CNN、CNN-KAN混合模型和ICB变体进行了比较。KANICE始终优于基线模型，在MNIST上达到99.35%的准确率，在SVHN数据集上达到90.05%。此外，我们引入了KANICE-mini，一种为效率设计的紧凑变体。一项全面的消融研究表明，KANICE-mini在参数显著减少的情况下达到了与KANICE相当的性能。KANICE-mini在SVHN上达到90.00%的准确率，参数为2,337,828个，而KANICE为25,432,000个。这项研究突显了基于KAN的架构在图像分类任务中平衡性能和计算效率的潜力。我们的工作为自适应神经网络研究做出了贡献，将数学定理集成到深度学习架构中，并探索了模型复杂度与性能之间的权衡，推动了计算机视觉和模式识别的发展。本文的源代码可通过我们的GitHub仓库公开获取。
引用
@article{arxiv.2410.17172,
title = {KANICE: Kolmogorov-Arnold Networks with Interactive Convolutional Elements},
author = {Md Meftahul Ferdaus and Mahdi Abdelguerfi and Elias Ioup and David Dobson and Kendall N. Niles and Ken Pathak and Steven Sloan},
journal= {arXiv preprint arXiv:2410.17172},
year = {2024}
}