由ReLU网络导数得到的斜决策树
机器学习
2020-05-05 v2 机器学习
摘要
我们展示如何使用神经模型实现分段常数函数（如决策树）。所提架构（我们称之为局部常数网络）构建于ReLU网络之上，后者是分段线性的，因此其关于输入的梯度是局部常数。我们正式确立了局部常数网络与决策树类之间的等价性。此外，我们强调了局部常数网络的若干优势特性，包括其如何实现具有跨分支/叶参数共享的斜决策树。事实上，仅需M个神经元便足以隐式建模具有2^M个叶节点的斜决策树。该神经表示还使我们能够采用为深度网络开发的许多工具（例如DropConnect（Wan et al., 2013）），同时隐式训练决策树。我们证明，在分子性质分类与回归任务中，我们的方法优于训练斜决策树的替代技术。
引用
@article{arxiv.1909.13488,
title = {Oblique Decision Trees from Derivatives of ReLU Networks},
author = {Guang-He Lee and Tommi S. Jaakkola},
journal= {arXiv preprint arXiv:1909.13488},
year = {2020}
}
备注
Published in International Conference on Learning Representations (ICLR), 2020. Code available: https://github.com/guanghelee/iclr20-lcn