中文

小批量 $k$-means 在 $O(d/\epsilon)$ 次迭代内终止

机器学习 2023-04-04 v1 人工智能 数据结构与算法

摘要

我们回答如下问题:“对于小批量 kk-means,局部进展(在批次上)是否意味着全局进展(在整个数据集上)?”。具体而言,我们考虑仅在采样批次上聚类质量的改进低于某阈值时才终止的小批量 kk-means。尽管初看该算法可能永远运行,我们肯定地回答了上述问题,并证明若批大小为 Ω~((d/ϵ)2)\tilde{\Omega}((d/\epsilon)^2),则它以高概率在 O(d/ϵ)O(d/\epsilon) 次迭代内终止,其中 dd 为输入维度,ϵ\epsilon 为终止阈值参数。无论中心如何初始化皆如此。当算法以 kk-means++ 初始化方案初始化时,其达到 O(logk)O(\log k) 的近似比(与全批量版本相同)。最后,我们展示了我们的结果对 scikit-learn(sklearn)python 库中实现的小批量 kk-means 算法的适用性。

关键词

引用

@article{arxiv.2304.00419,
  title  = {Mini-batch $k$-means terminates within $O(d/\epsilon)$ iterations},
  author = {Gregory Schwartzman},
  journal= {arXiv preprint arXiv:2304.00419},
  year   = {2023}
}

备注

ICLR 2023