基于神经正切核的集成中树架构分析
机器学习
2023-02-10 v2 机器学习
摘要
软树是一种被广泛研究的决策树变体，其使用梯度方法更新分裂规则。尽管软树可采用多种架构，但其影响在理论上尚不清楚。本文中，我们针对任意树架构，表述并分析了由软树集成所诱导的神经正切核（Neural Tangent Kernel, NTK）。该核带来了一个显著发现：在具有无穷多棵树的集成学习中，仅每层叶子数与树架构相关。换言之，若每层叶子数固定，则不同树架构（即便它们不同构）在函数空间中的训练行为与泛化性能完全相同。我们还展示了诸如决策列表等非对称树的 NTK 在趋于无穷深时不会退化。这与完美二叉树的已知情况相反，后者的 NTK 会退化并导致较深的树泛化性能变差。
引用
@article{arxiv.2205.12904,
title = {Analyzing Tree Architectures in Ensembles via Neural Tangent Kernel},
author = {Ryuichi Kanoh and Mahito Sugiyama},
journal= {arXiv preprint arXiv:2205.12904},
year = {2023}
}
备注
Accepted to ICLR 2023