Kolmogorov-Arnold 卷积：设计原则与实证研究
计算机视觉与模式识别
2024-07-02 v1 人工智能
机器学习
摘要
Kolmogorov-Arnold 网络 (KANs) 的出现在科学界引发了广泛关注和争议。本文探讨了将 KANs 应用于计算机视觉 (CV) 领域的可能性。我们考察了 KANs 的卷积版本，考虑 various non-linearity 选项，超出样条函数，例如小波变换和多项式系列。我们提出了 Kolmogorov-Arnold 卷积层的参数高效设计，以及针对预训练 KAN 模型的参数高效微调算法，还提供了 KANs 卷积版本的自注意力和焦点调制层。我们在 MNIST、CIFAR10、CIFAR100、Tiny ImageNet、ImageNet1k 和 HAM10000 数据集上进行了针对图像分类任务的实证评估。此外，我们探索了分割任务，提出了带 KAN 卷积的 U-Net 类架构，并在 BUSI、GlaS 和 CVC 数据集上实现了最新结果。我们总结了所有发现，形成针对计算机视觉任务中 KAN 卷积模型的初步设计指南。此外，我们还调查了 KANs 的正则化技术。所有实验代码和实现（包括在 ImageNet1k 上的预训练权重）均可通过 GitHub 获得。
引用
@article{arxiv.2407.01092,
title = {Kolmogorov-Arnold Convolutions: Design Principles and Empirical Studies},
author = {Ivan Drokin},
journal= {arXiv preprint arXiv:2407.01092},
year = {2024}
}