无穷小梯度提升的大样本理论
机器学习
2023-07-13 v2 机器学习
统计理论
统计理论
摘要
无穷小梯度提升（Dombry and Duchamps, 2021）被定义为流行的基于树的机器学习梯度提升算法在学习率趋于零时的极限。它被刻画为无限维函数空间中非线性常微分方程的解，其中驱动动力学的无穷小提升算子依赖于训练样本。我们考虑模型在大样本极限下的渐近行为，并证明其收敛于一个确定性过程。该总体极限同样由依赖于总体分布的微分方程刻画。我们探讨了该总体极限的一些性质：证明动力学使测试误差下降，并考察了其长时间行为。
引用
@article{arxiv.2210.00736,
title = {A large sample theory for infinitesimal gradient boosting},
author = {Clement Dombry and Jean-Jil Duchamps},
journal= {arXiv preprint arXiv:2210.00736},
year = {2023}
}
备注
37 pages