查找表型多元 Kolmogorov-Arnold 网络
机器学习
2025-10-20 v2 人工智能
性能
软件工程
摘要
高维线性映射（即线性层）在大多数现代深度学习模型中主导了参数量和计算成本。我们引入了一种通用的直接替代方案——查找表型多元 Kolmogorov-Arnold 网络 (lmKANs)，它在容量和推理成本之间提供了更优的权衡。我们的构造通过可训练的低维多元函数来表达一般的高维映射。这些函数每个可以携带数十或数百个可训练参数，但由于它们被实现为样条查找表，因此仅需少量乘法运算即可计算。在实验中，lmKANs 在一般高维函数逼近中以与 MLP 相当的灵活性将推理 FLOPs 最多减少了 6.0 倍。在另一个前馈全连接基准测试中，在随机位移甲烷构型的类表格数据集上，lmKANs 在同等精度下使 H100 吞吐量提高了 10 倍以上。在卷积神经网络框架中，基于 lmKAN 的 CNN 在匹配精度下分别将 CIFAR-10 和 ImageNet-1k 数据集上的推理 FLOPs 减少了 1.6-2.1 倍和 1.7 倍。我们的代码（包括专用的 CUDA 内核）可在 https://github.com/schwallergroup/lmkan 在线获取。
引用
@article{arxiv.2509.07103,
title = {Lookup multivariate Kolmogorov-Arnold Networks},
author = {Sergey Pozdnyakov and Philippe Schwaller},
journal= {arXiv preprint arXiv:2509.07103},
year = {2025}
}
备注
polishing