Grassmann 流形上的自适应随机梯度下降用于稳健低秩子空间恢复与聚类
机器学习
2015-04-21 v2 计算机视觉与模式识别
数值分析
最优化与控制
摘要
在本文中,我们提出了 GASG21(用于 范数最小化的 Grassmann 自适应随机梯度),这是一种自适应随机梯度算法,旨在从大矩阵中稳健地恢复低秩子空间。在存在列异常值的情况下,我们将带有秩约束的批量模式矩阵 范数最小化问题重新表述为约束在 Grassmann 流形上的随机优化方法。对于每个观测数据向量,低秩子空间 通过沿 Grassmann 流形的测地线采取梯度步长进行更新。为了加速随机梯度方法的收敛速率,我们选择利用连续梯度来自适应地调整恒定步长。此外,我们证明了在适当初始化的情况下,K-子空间扩展 K-GASG21 能够稳健地将大量受损数据向量聚类为子空间的并集。在合成数据和真实数据上的数值实验表明,即使在严重的列异常值污染下,所提出的算法也具有高效性和准确性。
引用
@article{arxiv.1412.4044,
title = {Adaptive Stochastic Gradient Descent on the Grassmannian for Robust Low-Rank Subspace Recovery and Clustering},
author = {Jun He and Yue Zhang},
journal= {arXiv preprint arXiv:1412.4044},
year = {2015}
}
备注
13 pages, 12 figures and 6 tables