TabNSA: 用于高效表格数据学习的原生稀疏注意力
机器学习
2026-02-11 v3
摘要
表格数据由于其异构特征类型、缺乏空间结构以及样本量有限，给深度学习带来了独特的挑战。我们提出TabNSA，一种将原生稀疏注意力（NSA）与TabMixer骨干网络相结合的新型深度学习框架，用于高效建模表格数据。TabNSA通过动态聚焦每个实例的相关特征子集来解决计算和表示方面的挑战。NSA模块采用分层稀疏注意力机制，包括token压缩、选择性保留和局部滑动窗口，在显著降低标准注意力操作二次复杂度的同时解决了特征异构性问题。作为补充，TabMixer骨干网络通过具有独立参数的多层感知机（MLP）并行分支捕获复杂的非线性依赖关系。这些模块通过逐元素求和和均值池化进行协同组合，使TabNSA能够同时建模全局上下文和细粒度交互。在监督学习和迁移学习设置中的广泛实验表明，TabNSA持续优于最先进的深度学习模型。此外，通过对TabNSA进行微调的大语言模型（LLM）进行增强，我们使其能够通过语言引导的泛化有效应对少样本学习挑战，在多样化的表格基准测试中表现优异。代码可在以下地址获取：https://github.com/aseslamian/TabNSA
引用
@article{arxiv.2503.09850,
title = {TabNSA: Native Sparse Attention for Efficient Tabular Data Learning},
author = {Ali Eslamian and Qiang Cheng},
journal= {arXiv preprint arXiv:2503.09850},
year = {2026}
}
备注
26 pages, 11 tables