中文

基于交替方向乘子法的非凸稀疏谱聚类及其收敛性分析

机器学习 2017-12-11 v1

摘要

谱聚类(SC)是一种广泛使用的数据聚类方法,它先通过计算归一化拉普拉斯矩阵的特征向量来学习数据的低维嵌入UU,然后在UU^\top上执行k-means得到最终聚类结果。稀疏谱聚类(SSC)方法通过在理想情况下利用UUUU^\top的块对角结构先验对UUUU^\top施加稀疏正则化来扩展SC。然而,促使UUUU^\top稀疏会导致一个高度非凸且难以求解的问题,文献(Lu, Yan, and Lin 2016)提出了一种凸松弛以间接实现该目标。但凸松弛通常导致松散近似,且解的质量不明确。本文转而考虑求解SSC的非凸形式,直接促使UUUU^\top稀疏。我们提出一种高效的交替方向乘子法(ADMM)来求解非凸SSC,并给出收敛性保证。特别地,我们证明ADMM生成的序列总存在极限点,且任一极限点均为驻点。我们的分析不对迭代施加任何假设,因此具有实用性。我们所提出的面向非凸问题的ADMM允许步长递增但有上界,这使其在实践中非常高效。在多个真实数据集上的实验分析验证了我们方法的有效性。

关键词

引用

@article{arxiv.1712.02979,
  title  = {Nonconvex Sparse Spectral Clustering by Alternating Direction Method of Multipliers and Its Convergence Analysis},
  author = {Canyi Lu and Jiashi Feng and Zhouchen Lin and Shuicheng Yan},
  journal= {arXiv preprint arXiv:1712.02979},
  year   = {2017}
}

备注

Proceedings of the AAAI Conference on Artificial Intelligence (AAAI). 2018