ExcelFormer：一种在表格数据上超越 GBDT 的神经网络
机器学习
2024-07-29 v8
摘要
以表格形式组织的数据在现实应用中无处不在，用户常凭借有偏的特征定义来构建表格，并灵活设定其感兴趣的预测目标。因此，快速开发一种鲁棒、有效、跨数据集通用且用户友好的表格预测方法需求迫切。尽管梯度提升决策树(GBDT)与现有深度神经网络(DNN)已被专业用户广泛使用，它们对普通用户存在若干挑战，尤其是：(i) 因各自数据集偏好不同而导致的模型选择困境，以及 (ii) 需大量超参数搜索，否则性能不佳。本文探讨如下问题：我们能否开发一种深度学习模型，既可作为广泛表格预测任务的“稳赢”方案，又对普通用户友好？我们深入分析了深度表格模型的三个关键缺陷： (P1) 缺乏旋转方差性质，(P2) 大数据需求，以及 (P3) 过平滑解。我们提出 ExcelFormer，通过半透注意力模块有效约束信息量较少特征的影响以打破 DNN 的旋转不变性性质(对应 P1)、面向表格数据的数据增强方法(对应 P2)、以及注意力前馈网络以提升模型拟合能力(对应 P3)来应对这些挑战。这些设计共同使 ExcelFormer 成为多样化表格数据集的“稳赢”方案。在真实世界数据集上进行的广泛且分层的实验表明，我们的模型在不同表格数据预测任务中优于以往方法，且该框架对普通用户友好，无需繁重超参数调优即可轻松使用。
引用
@article{arxiv.2301.02819,
title = {ExcelFormer: A neural network surpassing GBDTs on tabular data},
author = {Jintai Chen and Jiahuan Yan and Qiyuan Chen and Danny Ziyi Chen and Jian Wu and Jimeng Sun},
journal= {arXiv preprint arXiv:2301.02819},
year = {2024}
}