基于核的集成学习在 Python 中的实现

我们针对存在两个或更多初步预测器的分类与回归问题，提出一种新的监督学习算法。我们引入 \texttt{KernelCobra}，一种用于组合任意数量初始预测器的非线性学习策略。\texttt{KernelCobra} 建立在由 \citet{biau2016cobra} 提出的 COBRA 算法之上，该算法基于训练数据上预测的邻近性概念来组合估计量。COBRA 算法使用二元阈值来判定哪些训练数据邻近并可供使用，而我们推广了这一思想，使用核来更好地封装邻近信息。这种平滑核为用于构建聚合及最终预测器的每个训练点提供了更具代表性的权重，且 \texttt{KernelCobra} 系统性地优于 COBRA 算法。COBRA 面向回归，而 \texttt{KernelCobra} 可处理分类与回归。\texttt{KernelCobra} 作为开源 Python 包 \texttt{Pycobra}（0.2.4 及以后版本）的一部分被纳入，该包由 \citet{guedj2018pycobra} 引入。数值实验在真实与合成数据集上评估了 \texttt{KernelCobra} 的性能（就纯预测与计算复杂度而言）。