改进深度表格学习

表格数据仍然是现实世界信息的主导形式，但由于特征类型异构、缺乏自然结构以及缺乏保留标签的数据增强，给深度学习带来了持续的挑战。因此，基于决策树的集成模型继续主导基准排行榜。在这项工作中，我们引入了 RuleNet，一种专门为深度表格学习设计的基于 Transformer 的架构。RuleNet 在解码器中结合了可学习的规则嵌入，用于数值特征的分段线性分位数投影，以及用于鲁棒性和不确定性估计的特征掩码集成。在八个基准数据集上的评估表明，RuleNet 在大多数情况下匹配或超越了最先进的基于树的方法，同时保持了计算效率，为表格预测任务提供了一种实用的神经替代方案。