树集成的最小最大速率与谱蒸馏
机器学习
2026-05-13 v1 人工智能
机器学习
摘要
树集成，如随机森林（RF）和梯度提升机（GBM），是使用最广泛的监督学习器之一，但其理论性质仍未完全理解。我们采用谱视角研究这些算法，主要有两个贡献。首先，我们推导了 RF 回归的最小最大最优收敛性，表明在树生长的温和正则条件下，所诱导核算子的特征值衰减决定了统计速率。其次，我们利用这一谱视角开发了树集成的压缩方案。对于 RF，核算子的主导特征函数捕获了主要的预测方向；对于 GBM，平滑矩阵的主导奇异向量扮演了类似的角色。学习这些谱表示的非线性映射可以得到比原始模型小几个数量级的蒸馏模型，同时保持有竞争力的预测性能。我们的方法在森林剪枝和规则提取方面优于最先进的算法，并适用于资源受限的计算。
引用
@article{arxiv.2605.11841,
title = {Minimax Rates and Spectral Distillation for Tree Ensembles},
author = {Binh Duc Vu and David S. Watson},
journal= {arXiv preprint arXiv:2605.11841},
year = {2026}
}
备注
9 pages main text, 33 pages total, with 12 figures and 7 tables total