用于增强深度学习的残差Kolmogorov-Arnold网络
计算机视觉与模式识别
2025-11-07 v4 人工智能
机器学习
摘要
尽管深度卷积神经网络（CNN）取得了巨大成功，但由于网络深度中包含数百层，优化困难且训练成本高昂。传统卷积操作受限于其线性特性和固定激活函数，需要大量层数才能从数据中学习有意义的模式。由于网络规模庞大，这种方法在计算上效率低下，并会引发过拟合或梯度爆炸风险，尤其在小数据集上更为明显。因此，我们引入一个“插拔式”模块，称为残差Kolmogorov-Arnold网络（RKAN）。该模块高度紧凑，可轻松插入传统深度网络的任意阶段（级别），其中它学习整合对抑制性多项式特征变换以增强现有卷积框架。RKAN在不同视觉任务和广泛测试的基准上均优于基线模型，实现了领先的性能。
引用
@article{arxiv.2410.05500,
title = {Residual Kolmogorov-Arnold Network for Enhanced Deep Learning},
author = {Ray Congrui Yu and Sherry Wu and Jiang Gui},
journal= {arXiv preprint arXiv:2410.05500},
year = {2025}
}
备注
Code is available at https://github.com/withray/residualKAN.git