中文

Grassmann 流形上的自适应随机梯度下降用于稳健低秩子空间恢复与聚类

机器学习 2015-04-21 v2 计算机视觉与模式识别 数值分析 最优化与控制

摘要

在本文中,我们提出了 GASG21(用于 L2,1L_{2,1} 范数最小化的 Grassmann 自适应随机梯度),这是一种自适应随机梯度算法,旨在从大矩阵中稳健地恢复低秩子空间。在存在列异常值的情况下,我们将带有秩约束的批量模式矩阵 L2,1L_{2,1} 范数最小化问题重新表述为约束在 Grassmann 流形上的随机优化方法。对于每个观测数据向量,低秩子空间 S\mathcal{S} 通过沿 Grassmann 流形的测地线采取梯度步长进行更新。为了加速随机梯度方法的收敛速率,我们选择利用连续梯度来自适应地调整恒定步长。此外,我们证明了在适当初始化的情况下,K-子空间扩展 K-GASG21 能够稳健地将大量受损数据向量聚类为子空间的并集。在合成数据和真实数据上的数值实验表明,即使在严重的列异常值污染下,所提出的算法也具有高效性和准确性。

关键词

引用

@article{arxiv.1412.4044,
  title  = {Adaptive Stochastic Gradient Descent on the Grassmannian for Robust Low-Rank Subspace Recovery and Clustering},
  author = {Jun He and Yue Zhang},
  journal= {arXiv preprint arXiv:1412.4044},
  year   = {2015}
}

备注

13 pages, 12 figures and 6 tables