面向表格数据深度学习的神经无关决策集成
机器学习
2019-09-20 v2 机器学习
摘要
如今，深度神经网络（DNNs）已成为广泛领域（包括视觉、NLP 与语音）中机器学习任务的主要工具。与此同时，在异质表格数据这一重要情形下，DNNs 相对浅层模型的优势仍存疑。特别是，尚无充分证据表明深度学习机制能构建出优于梯度提升决策树（GBDT）的方法，而 GBDT 常是表格问题的首选。本文中，我们引入神经无关决策集成（NODE），一种设计用于任意表格数据的新深度学习架构。简言之，所提 NODE 架构推广了无关决策树的集成，但兼具端到端基于梯度的优化与多层层次表示学习的优势。通过对大量表格数据集上与主流 GBDT 包的充分实验比较，我们展示了所提 NODE 架构的优势，其在多数任务上超越竞争者。我们开源了 NODE 的 PyTorch 实现，并相信它将成为表格数据机器学习的通用框架。
引用
@article{arxiv.1909.06312,
title = {Neural Oblivious Decision Ensembles for Deep Learning on Tabular Data},
author = {Sergei Popov and Stanislav Morozov and Artem Babenko},
journal= {arXiv preprint arXiv:1909.06312},
year = {2019}
}