放宽条件,无需取整:聚类公式的整数性
机器学习
2015-04-16 v5 数据结构与算法
机器学习
统计理论
统计理论
摘要
我们研究点云聚类问题凸松弛的精确恢复条件,重点关注无监督聚类中最常见的两个优化问题:-means 和 -median 聚类。聚焦于凸松弛的动机在于:(a) 它们带有最优性证明,(b) 它们是通用工具,相对无需参数调整,不针对输入的特定假设。更具体地说,我们考虑分布设定,其中 中存在 个簇,每个簇的数据由从单位半径球内的对称分布中采样的 个点组成。我们提出这样的问题:为了使凸松弛将这些 个簇精确恢复为最优整数解,簇中心之间所需的最小分离距离是多少?对于 -median 线性规划松弛,我们展示了一个紧界:只要球体之间的任意小成对分离距离 ,即可获得精确恢复。换言之,成对中心分离度为 。在相同的分布模型下,-means 线性规划松弛在分离度高达 时仍无法恢复此类簇。然而,如果我们在 -means 线性规划中强制施加 PSD 约束,则可在中心分离度 时实现精确簇恢复。相比之下,常见的启发式算法如 Lloyd 算法(即 -means 算法)在此设定下可能无法恢复簇;即使簇分离度任意大,以任何常数因子过种子化的 k-means++ 也以高概率无法精确恢复簇。为了补充理论分析,我们提供了对这些各种方法恢复保证的实验研究,并讨论了这些实验所揭示的几个开放问题。
引用
@article{arxiv.1408.4045,
title = {Relax, no need to round: integrality of clustering formulations},
author = {Pranjal Awasthi and Afonso S. Bandeira and Moses Charikar and Ravishankar Krishnaswamy and Soledad Villar and Rachel Ward},
journal= {arXiv preprint arXiv:1408.4045},
year = {2015}
}
备注
30 pages, ITCS 2015