非线性核的比较研究

在本文中，我们在广泛的公开数据集上比较了 5 种不同的非线性核：min-max、RBF、fRBF（folded RBF）、acos 以及 acos-$\chi^2$。所提出的 fRBF 核与 RBF 核表现非常相似。RBF 和 fRBF 核都需要一个重要的调谐参数（$\gamma$）。有趣的是，对于相当一部分数据集，min-max 核优于经过最佳调谐的 RBF/fRBF 核。acos 核和 acos-$\chi^2$ 核总体上也表现良好，并在某些数据集上取得了最佳准确率。使用非线性核的一个关键问题是过高的计算和内存成本。如今，一种日益流行的策略是通过各种随机化算法将核线性化。在我们的研究中，就变换后数据集中非零项的数量而言，min-max 核的随机化方法相较于其他类型非线性核的随机化方法表现出了优异的性能。我们的研究为支持使用 min-max 核及相应的随机化线性化方法（即所谓的“0-bit CWS”）提供了证据。此外，结果激励了至少两个未来研究方向：(i) 开发新的（且可线性化的）非线性核以获得更好的准确率；(ii) 开发更好的线性化算法以改进当前针对 RBF 核、acos 核和 acos-$\chi^2$ 核的线性化方法。一种尝试是将 min-max 核与 acos 核或 acos-$\chi^2$ 核结合。我们通过大量实验证明了这两种新的、无需调谐的非线性核的优势。