Hyb-KAN ViT：融合小波基谱分解与样条优化激活函数的混合Kolmogorov-Arnold网络视觉Transformer
计算机视觉与模式识别
2025-05-09 v1
摘要
本研究针对视觉Transformer（ViT）中多层感知器（MLP）内在局限性，提出一种新型框架——混合Kolmogorov-Arnold网络视觉Transformer（Hyb-KAN ViT），其集成了基于小波的谱分解与样条优化激活函数。 prior work（现有工作）未充分关注ViT架构预建模块化及小波函数边缘检测能力的集成。我们提出两个关键模块：高效-KAN（Eff-KAN），用样条函数替代MLP层；小波-KAN（Wav-KAN），利用正交小波变换实现多分辨率特征提取。这些模块被系统集成到ViT编码器层和分类头中，以增强空间频率建模，同时缓解计算瓶颈。在ImageNet-1K（图像识别）、COCO（目标检测与实例分割）和ADE20K（语义分割）上的实验表明，Hyb-KAN ViT实现了状态-of-the-art性能。消融研究验证了小波驱动谱先验在分割任务中有效性，以及样条化效率在检测任务中的优势。该框架建立了参数效率与多尺度表征之间平衡的新范式。
引用
@article{arxiv.2505.04740,
title = {Hyb-KAN ViT: Hybrid Kolmogorov-Arnold Networks Augmented Vision Transformer},
author = {Sainath Dey and Mitul Goswami and Jashika Sethi and Prasant Kumar Pattnaik},
journal= {arXiv preprint arXiv:2505.04740},
year = {2025}
}