表格深度学习中数值特征的嵌入方法研究

近来，类Transformer的深度架构在表格数据问题上展现出强劲性能。与传统模型（如MLP）不同，这些架构在主骨干网络混合之前，将数值特征的标量值映射到高维嵌入。本工作中，我们认为数值特征的嵌入是表格深度学习中被低估的一个自由度，它使得构建更强大的深度学习模型并在一些传统上利于GBDT的基准上与之竞争成为可能。我们首先描述两种概念上不同的构建嵌入模块的方法：第一种基于标量值的分段线性编码，第二种利用周期激活函数。随后，我们通过实证表明，与基于线性层和ReLU激活等常规块的嵌入相比，这两种方法可带来显著的性能提升。重要的是，我们还表明数值特征嵌入对许多骨干网络都有益，不仅限于Transformer。具体而言，经过恰当的嵌入后，简单的类MLP模型可取得与基于注意力的架构相当的性能。总体而言，我们强调数值特征的嵌入是一个重要的设计方面，在表格深度学习中具有进一步改进的良好潜力。