融合 GBDT 与 DNN：基于树混合 MLP 的高效有效表格预测
机器学习
2024-07-16 v1
摘要
表格数据在 various applications 中发挥着关键作用。因此，开发高效、有效且广泛兼容的表格数据预测算法至关重要。目前，梯度提升决策树（GBDTs）和深度神经网络（DNNs）在不同表格预测任务上都展现出性能优势。然而，为特定表格数据集选择有效模型具有挑战性，常需进行耗时的超参数调优。为解决此模型选择困境，本文提出了一种新框架，将 GBDTs 和 DNNs 的优势融合为一种既高效又在数据集偏好于 GBDTs 或 DNNs 时都能保持竞争力的 DNN 算法。我们的想法基于这样一个观察：深度学习（DL）拥有更大的参数空间，可以表示一个表现良好的 GBDT 模型，但当前的反向传播优化器难以高效地发现此类最优功能。在 GBDT 开发过程中，硬树修剪、熵驱动特征门控和模型集成被证明更适合表格数据。通过组合这些关键组件，我们提出了一种树混合简单 MLP（T-MLP）。在我们的框架中，张量化的快速训练 GBDT 特征门控、DNN 架构修剪方法以及普通的反向传播优化器共同训练一个随机初始化的 MLP 模型。广泛的实验表明，T-MLP 在各自主导的表格基准（共 88 个数据集）上，都能与经过广泛调优的 DNNs 和 GBDTs 相抗衡，且实现了紧凑的模型存储和显著减少的训练持续时间。
引用
@article{arxiv.2407.09790,
title = {Team up GBDTs and DNNs: Advancing Efficient and Effective Tabular Prediction with Tree-hybrid MLPs},
author = {Jiahuan Yan and Jintai Chen and Qianxing Wang and Danny Z. Chen and Jian Wu},
journal= {arXiv preprint arXiv:2407.09790},
year = {2024}
}
备注
Accepted at KDD 2024 Research Track, codes will be available at https://github.com/jyansir/tmlp