Mambular：用于表格深度学习的序列模型
机器学习
2025-03-26 v2
摘要
表格数据的分析传统上由梯度提升决策树（GBDT）主导，后者擅长处理混合类别和数值特征。然而，近期的深度学习创新正在挑战这种主导地位。本文探讨了自回归状态空间模型用于表格数据的方法，并将其性能与 established benchmark 模型进行比较。此外，我们探索了各种模型改编，包括不同的池化策略、特征交互机制和双向处理技术，以了解其对表格数据的有效性。我们的发现表明，将特征解释为序列并通过结构化状态空间层处理其及其交互可导致显著的性能提升。这项研究强调了自回归模型在表格数据分析中的多功能性，将其置于作为显著增强深度学习在这一传统上具有挑战性领域能力的有前景的替代方案。源代码可在 https://github.com/basf/mamba-tabular 获取。
引用
@article{arxiv.2408.06291,
title = {Mambular: A Sequential Model for Tabular Deep Learning},
author = {Anton Frederik Thielmann and Manish Kumar and Christoph Weisser and Arik Reuter and Benjamin Säfken and Soheila Samiee},
journal= {arXiv preprint arXiv:2408.06291},
year = {2025}
}