面向表格数据的具稀疏注意力的深度可微森林
机器学习
2020-03-03 v1 机器学习
摘要
我们提出深度可微森林的通用架构及其稀疏注意力机制。可微森林兼具树与神经网络的优点。其结构为简单二叉树，易于使用和理解。它具有完全可微性，且所有变量均为可学习参数。我们将通过基于梯度的优化方法来训练它，该方法在深度 CNN 训练中展现出强大威力。我们发现在可微森林中存在并分析了注意力机制。即，每个决策仅依赖于少数重要特征，其余特征无关。该注意力始终是稀疏的。基于此观察，我们通过数据感知初始化提升其稀疏性。我们利用属性重要性来初始化注意力权重。于是学习到的权重比随机初始化得到的要稀疏得多。我们在一些大型表格数据集上的实验表明，可微森林比 GBDT（当前表格数据集的 SOTA 算法）具有更高准确率。源代码见 https://github.com/closest-git/QuantumForest
引用
@article{arxiv.2003.00223,
title = {Deep differentiable forest with sparse attention for the tabular data},
author = {Yingshi Chen},
journal= {arXiv preprint arXiv:2003.00223},
year = {2020}
}
备注
6 pages,3 figures