关于直方图梯度提升树中基于库级 k-均值分箱的论证

现代梯度提升决策树 (GBDT) 采用基于直方图的分箱技术加速分裂寻找，将复杂度从 $O(N\log N)$ 降低至 $O(N)$，通过将梯度聚合到固定大小的离散箱中实现。然而，主流的分位数分箱策略——旨在将数据点均匀分布到各箱中——可能忽略那些可能提升预测性能的关键边界值。本文提出一种新方法，用 $k$-均值离散器（以分位数箱为初始化）取代分位数分箱，并通过证明表明：对于任意 $L$-Lipschitz 函数，$k$-均值可最大化当将给定箱中所有值视为等价时对 $Y$ 的最坏情况解释方差。我们在 33 个 OpenML 数据集及控制数据模态性、偏斜性和分箱预算的合成数据集上测试了该替换方法，分别对比了分位数、均匀和 $k$-均值分箱。在 18 个回归数据集上，$k$-均值在 5% 水平下无统计显著损失，且在三个案例中取得胜出——尤其是在一个高度偏斜数据集上实现了 55% 的均方误差降低，尽管 $k$-均值的平均倒数排名 (MRR) 略低于 0.65 vs 0.72。在 15 个分类数据集中，两种方法在统计上相当（MRR 0.70 vs 0.68），差距 $\leq$0.2 pp。合成实验确认 $k$-均值在 MSE 上 consistently 获得显著提升——通常超过 20%，在异常值幅度增加或分箱预算降低时提升至 90%。我们发现，$k$-均值在额外裂切价值有限时，能保持对比穷举（无分箱）分割的误差水平，同时仍能恢复分位数忽略的关键裂切点。因此，我们主张在内置 bin_method=k-means 标志，尤其是在回归任务和紧张预算场景（如 32-64 箱的 GPU 环境）中使用——因为它是一种“安全默认选项”，收益显著，仅增加一次性、可缓存的开销（约 3.5 秒即可在单颗 Apple M1 线程上对 1000 万行数据进行分箱）。