用于表格数据建模的随机竞争Transformer
机器学习
2024-07-19 v1
摘要
尽管表格数据在诸多行业和领域中广为流行且重要，但在深度学习领域仍相对不被充分探索。尽管如此，神经网络仍常被梯度提升决策树（GBDT）所超越。然而，近期模型正逐渐缩小这一差距，在各种场景下超越GBDT，受到越来越多关注。鼓舞于此，我们引入一种新型深度学习模型，专为表格数据设计。该模型基于Transformer架构，通过战略性的结构修改和两种随机竞争机制，特别适应表格数据的独特属性。首先，我们采用随机“局部全明牌”（Local Winner Takes All）单元，通过随机性和稀疏性促进泛化能力。其次，我们引入新型嵌入层，通过随机竞争机制在备选线性嵌入层中进行选择。该模型在广泛使用的公开数据集上验证了有效性。我们展示，通过融入这些元素，该模型实现了卓越的性能，为深度学习应用于表格数据的应用开辟了新的道路。
关键词
引用
@article{arxiv.2407.13238,
title = {Transformers with Stochastic Competition for Tabular Data Modelling},
author = {Andreas Voskou and Charalambos Christoforou and Sotirios Chatzis},
journal= {arXiv preprint arXiv:2407.13238},
year = {2024}
}