几种可调广义极小极大核

尽管树方法在实践中广受欢迎,研究者和从业者也在寻找能达到与树相近精度的简单算法。2010 年,(Ping Li UAI'10)提出了“abc-robust-logitboost”方法,并在深度学习文献所用数据集上与其他监督学习方法进行了比较。在本研究中,我们提出一系列“可调 GMM 核(tunable GMM kernels)”,它们形式简单,且在相同数据集上的表现大体可与树方法媲美。需注意,“abc-robust-logitboost”大幅改进了原始“GDBT”:(a) 它基于损失函数导数的二阶信息发展了树分裂公式;(b) 它为多类分类公式发展了一套新的导数。在 2017 年的前期研究中,“广义极小极大(generalized min-max, GMM)”核被证明比“径向基函数(radial-basis function, RBF)”核表现更好。然而,如本文所示,在深度学习文献所用数据集上,原始 GMM 核通常不如树方法具竞争力。由于原始 GMM 核无参数,我们通过多种方式加入调谐参数提出可调 GMM 核。三种基本(即仅含一个参数)GMM 核分别为“$e$GMM 核”、“$p$GMM 核”和“$\gamma$GMM 核”。大量实验表明,它们能为大量分类任务产出良好结果。此外,基本核可组合以进一步提升性能。