间隔、核与非线性平滑感知机

我们关注在再生核希尔伯特空间（RKHS）中寻找非线性分类函数的问题，既从原始视角（当存在时寻找完美分隔器）也从对偶视角（给出不存在的证明），特别关注两种经典方案的推广——感知机（原始）和冯·诺依曼（对偶）算法。我们将问题转化为在RKHS中最大化正则化归一化硬间隔（$\rho$），并利用表示定理将其重新表述为与核的（归一化且带符号的）格拉姆矩阵相关的马哈拉诺比斯点积/半范数。我们推导出一种加速平滑算法，给定$n$个可分隔点，其收敛速率为$\tfrac{\sqrt {\log n}}{\rho}$，这与速率为$\tfrac1{\rho^2}$的经典核化感知机算法惊人地相似。当不存在此类分类器时，我们证明了RKHS的戈丹分离定理的一个版本，并给出了负间隔的重新解释。这使我们能够为原始-对偶算法提供保证，如果原始问题可行，该算法在$\min\{\tfrac{\sqrt n}{|\rho|}, \tfrac{\sqrt n}{\epsilon}\}$次迭代内停止，得到RKHS中的完美分隔器，或给出近不可行性的对偶$\epsilon$-证明。