中文

放宽条件,无需取整:聚类公式的整数性

机器学习 2015-04-16 v5 数据结构与算法 机器学习 统计理论 统计理论

摘要

我们研究点云聚类问题凸松弛的精确恢复条件,重点关注无监督聚类中最常见的两个优化问题:kk-means 和 kk-median 聚类。聚焦于凸松弛的动机在于:(a) 它们带有最优性证明,(b) 它们是通用工具,相对无需参数调整,不针对输入的特定假设。更具体地说,我们考虑分布设定,其中 Rm\mathbb{R}^m 中存在 kk 个簇,每个簇的数据由从单位半径球内的对称分布中采样的 nn 个点组成。我们提出这样的问题:为了使凸松弛将这些 kk 个簇精确恢复为最优整数解,簇中心之间所需的最小分离距离是多少?对于 kk-median 线性规划松弛,我们展示了一个紧界:只要球体之间的任意小成对分离距离 ϵ>0\epsilon > 0,即可获得精确恢复。换言之,成对中心分离度为 Δ>2+ϵ\Delta > 2+\epsilon。在相同的分布模型下,kk-means 线性规划松弛在分离度高达 Δ=4\Delta = 4 时仍无法恢复此类簇。然而,如果我们在 kk-means 线性规划中强制施加 PSD 约束,则可在中心分离度 Δ>22(1+1/m)\Delta > 2\sqrt2(1+\sqrt{1/m}) 时实现精确簇恢复。相比之下,常见的启发式算法如 Lloyd 算法(即 kk-means 算法)在此设定下可能无法恢复簇;即使簇分离度任意大,以任何常数因子过种子化的 k-means++ 也以高概率无法精确恢复簇。为了补充理论分析,我们提供了对这些各种方法恢复保证的实验研究,并讨论了这些实验所揭示的几个开放问题。

关键词

引用

@article{arxiv.1408.4045,
  title  = {Relax, no need to round: integrality of clustering formulations},
  author = {Pranjal Awasthi and Afonso S. Bandeira and Moses Charikar and Ravishankar Krishnaswamy and Soledad Villar and Rachel Ward},
  journal= {arXiv preprint arXiv:1408.4045},
  year   = {2015}
}

备注

30 pages, ITCS 2015