从神经正切核视角看无限树集成
机器学习
2022-03-22 v2 机器学习
摘要
在实际应用中，树集成是与神经网络并列的最流行模型之一。软树是决策树的一种变体。软树不使用贪心方法搜索分裂规则，而是使用梯度方法进行训练，其中整个分裂操作被表述为可微形式。尽管近年来此类软树的集成被越来越多地使用，但理解其行为的理论工作却很少。通过考虑无限软树的集成，本文引入并研究了树神经正切核（TNTK），它为无限软树集成的行为提供了新的见解。利用 TNTK，我们从理论上识别了几个非平凡的性质，例如训练的全局收敛性、无感知树结构的等价性，以及由树的加深所导致的 TNTK 退化。
引用
@article{arxiv.2109.04983,
title = {A Neural Tangent Kernel Perspective of Infinite Tree Ensembles},
author = {Ryuichi Kanoh and Mahito Sugiyama},
journal= {arXiv preprint arXiv:2109.04983},
year = {2022}
}
备注
Accepted to ICLR 2022