MetaCluster：Kolmogorov-Arnold 网络深度压缩技术
机器学习
2026-02-10 v2 计算机视觉与模式识别
摘要
Kolmogorov-Arnold 网络（KANs）用每个边缘的基函数系数向量取代标量权重，从而在表达性和准确率方面取得提升，同时也导致参数和内存的乘法式增加。我们提出 MetaCluster 框架，使 KANs 能够在不牺牲准确率的情况下实现高度压缩。具体而言，一个轻量级的 meta-learner 在与 KAN 联合训练时，将低维嵌入映射到系数向量，从而将其塑造成易于聚类的低维流形。随后在系数空间上执行 K-means 聚类，将每个边缘的向量替换为共享的质心。随后可丢弃 meta-learner，并对质心码本进行简短的微调以恢复可能的残余准确率损失。 resulting model 只存储小型码本和每个边缘的索引，利用 KAN 参数的向量性质在多个系数之间实现存储摊销。在 MNIST、CIFAR-10 和 CIFAR-100 上，MetaCluster 在标准 KANs 和 ConvKANs（使用多个基函数）上实现了最高可达 的参数存储降低，且不影响准确率。同样，在高维方程建模任务中，MetaCluster 实现了参数降低 ，且不影响性能。代码将在正式发表后公开。
引用
@article{arxiv.2510.19105,
title = {MetaCluster: Enabling Deep Compression of Kolmogorov-Arnold Network},
author = {Matthew Raffel and Adwaith Renjith and Lizhong Chen},
journal= {arXiv preprint arXiv:2510.19105},
year = {2026}
}