中文

球面约束下的完整字典恢复

信息论 2015-11-19 v3 计算机视觉与模式识别 机器学习 math.IT 最优化与控制 机器学习

摘要

我们考虑从 YRn×p\mathbf Y \in \mathbb R^{n \times p}Y=A0X0\mathbf Y = \mathbf A_0 \mathbf X_0 中恢复一个完整(即方阵且可逆)矩阵 A0\mathbf A_0 的问题,其中 X0\mathbf X_0 充分稀疏。该恢复问题对于字典学习的理论理解至关重要,字典学习旨在为一组输入信号寻求稀疏表示,并在现代信号处理与机器学习中有大量应用。我们给出了首个高效算法,在 X0\mathbf X_0 的适当概率模型下,当 X0\mathbf X_0 每列具有 O(n)O(n) 个非零元时可证明地恢复 A0\mathbf A_0。相比之下,基于高效算法的已有结果仅能在 X0\mathbf X_0 每列具有 O(n1δ)O(n^{1-\delta}) 个非零元(对任意常数 δ(0,1)\delta \in (0, 1))时提供恢复保证。我们的算法流程围绕求解一个带球面约束的特定非凸优化问题展开,因此自然用流形优化的语言表述。为表明这一看似困难的问题是可处理的,我们首先给出了高维目标景观的几何刻画,表明以高概率不存在“伪”局部极小。这一特殊的几何结构使我们能够设计一个球面上的黎曼信赖域算法,该算法可证明地收敛到某个局部极小点,且初始化任意,尽管存在鞍点。我们此处发展的几何方法也可能为其他由结构化信号的非凸恢复所引起的问题提供启示。

关键词

引用

@article{arxiv.1504.06785,
  title  = {Complete Dictionary Recovery over the Sphere},
  author = {Ju Sun and Qing Qu and John Wright},
  journal= {arXiv preprint arXiv:1504.06785},
  year   = {2015}
}

备注

104 pages, 5 figures. Due to length constraint of publication, this long paper are subsequently divided into two papers (arXiv:1511.03607 and arXiv:1511.04777). Further updates will be made only to the two papers