TabKANet：基于 Kolmogorov-Arnold 网络与 Transformer 的表格数据建模
机器学习
2024-10-03 v2 人工智能
摘要
表格数据是现实场景中最常见的数据类型。在本研究中，我们针对数值内容学习中的瓶颈，提出了用于表格数据建模的 TabKANet 模型。我们构建了一个基于 Kolmogorov-Arnold 网络 (KAN) 的数值嵌入模块，并在 Transformer 架构中统一了数值和类别特征的编码。在多个公开数据集的二分类、多分类和回归任务中，TabKANet 展现出了稳定且显著优于神经网络 (NNs) 的性能。其性能与梯度提升决策树模型 (GBDTs) 相当或更优。我们的代码已在 GitHub 上公开：https://github.com/AI-thpremed/TabKANet。
引用
@article{arxiv.2409.08806,
title = {TabKANet: Tabular Data Modeling with Kolmogorov-Arnold Network and Transformer},
author = {Weihao Gao and Zheng Gong and Zhuo Deng and Fuju Rong and Chucheng Chen and Lan Ma},
journal= {arXiv preprint arXiv:2409.08806},
year = {2024}
}
备注
13 pages,5 figures