小批量核 $k$-均值算法

我们提出了第一个小批量核 $k$-均值算法，与全批量算法相比，运行时间提升了一个数量级。我们算法的单次迭代耗时 $\widetilde{O}(kb^2)$，远快于全批量核 $k$-均值所需的 $O(n^2)$ 时间，其中 $n$ 是数据集大小，$b$ 是批量大小。大量实验表明，我们的算法始终能实现10-100倍的加速，且质量损失极小，解决了实践中限制核 $k$-均值采用的运行缓慢问题。我们进一步通过早期停止条件下的理论分析补充了这些结果，证明当批量大小为 $\widetilde{\Omega}(\max \{\gamma^{4}, \gamma^{2}\} \cdot \epsilon^{-2})$ 时，算法以高概率在 $O(\gamma^2/\epsilon)$ 次迭代内终止，其中 $\gamma$ 限制了特征空间中点的范数，$\epsilon$ 是终止阈值。我们的分析对任何合理的中心初始化都成立，并且当使用 $k$-means++ 初始化时，算法在期望下达到 $O(\log k)$ 的近似比。对于归一化核，如高斯核或拉普拉斯核，有 $\gamma=1$。取 $\epsilon = O(1)$ 和 $b=\Theta(\log n)$，算法在 $O(1)$ 次迭代内终止，每次迭代耗时 $\widetilde{O}(k)$。