信号决策树的核集

$k$-决策树 $t$（或 $k$-树）是将矩阵（2D 信号）递归划分为 $k\geq 1$ 个块矩阵（轴平行矩形，叶节点）的划分，其中每个矩形被赋予一个实标签。其对给定含 $N$ 个条目（标签）的矩阵 $D$ 的回归或分类损失是 $D$ 中每个标签与其由 $t$ 所指派标签之间平方差的总和。给定误差参数 $\varepsilon\in(0,1)$，$D$ 的一个 $(k,\varepsilon)$-核集 $C$ 是一个小型摘要，可证明地近似\emph{每一个}此类树上的该损失，直至 $1\pm\varepsilon$ 的乘性因子。特别地，$C$ 的最优 $k$-树是 $D$ 的最优 $k$-树的 $(1+\varepsilon)$-近似。我们提供首个为\emph{每一个}此类矩阵 $D$ 输出这种 $(k,\varepsilon)$-核集的算法。核集的大小 $|C|$ 关于 $k\log(N)/\varepsilon$ 为多项式，其构建耗时 $O(Nk)$。这是通过建立机器学习中的决策树与计算几何中的划分树之间的联系实现的。在 \texttt{sklearn} 和 \texttt{lightGBM} 上的实验结果表明，在真实数据集上应用我们的核集可将随机森林及其参数调优的计算时间加速至多 x$10$，同时保持相似精度。我们提供了完整的开源代码。