面向表格数据的注意力增强可微森林
机器学习
2020-10-08 v1 机器学习
摘要
可微森林是一类具有完全可微性的决策树集成。其简单的树结构易于使用与解释。借助完全可微性,它可在端到端学习框架中通过基于梯度的优化方法进行训练。本文在可微森林框架下提出树注意力块(TAB)。TAB 块包含压缩与调节两种操作。压缩操作提取每棵树的特征;调节操作学习这些树之间的非线性关系。因此 TAB 块能学习每棵树的重要性并调整其权重以提升精度。我们在大型表格数据集上的实验表明,注意力增强可微森林可达到与梯度提升决策树(GBDT)——表格数据集上的最优(state-of-the-art)算法——相当的精度;并且在部分数据集上,我们的模型精度高于最佳 GBDT 库(LightGBM、Catboost 与 XGBoost)。可微森林模型支持批量训练且批大小远小于训练集规模,因此在更大数据集上其内存占用远低于 GBDT 模型。源代码见 https://github.com/closest-git/QuantumForest。
引用
@article{arxiv.2010.02921,
title = {Attention augmented differentiable forest for tabular data},
author = {Yingshi Chen},
journal= {arXiv preprint arXiv:2010.02921},
year = {2020}
}
备注
8 pages,4 figures. arXiv admin note: text overlap with arXiv:2003.00223