球面上的完整字典恢复 I：概述与几何图景

我们考虑从 $\mathbf Y \in \mathbb{R}^{n \times p}$ 且 $\mathbf Y = \mathbf A_0 \mathbf X_0$ 中恢复一个完整（即方阵且可逆）矩阵 $\mathbf A_0$ 的问题，前提是 $\mathbf X_0$ 足够稀疏。该恢复问题对于字典学习的理论理解至关重要，字典学习旨在为输入信号集合寻找稀疏表示，并在现代信号处理和机器学习中有大量应用。我们给出了首个高效算法，在 $\mathbf X_0$ 每列具有 $O(n)$ 个非零元、且对 $\mathbf X_0$ 有适当概率模型时，可证明地恢复 $\mathbf A_0$。相比之下，基于高效算法的先前结果要么仅保证在 $\mathbf X_0$ 每列有 $O(\sqrt{n})$ 个零时恢复，要么在 $\mathbf X_0$ 每列有 $O(n^{1-\delta})$ 个非零元（对任意常数 $\delta \in (0, 1)$）时需要多轮 SDP 松弛才能工作。我们的算法管道核心在于求解一个带有球面约束的特定非凸优化问题。在本文中，我们提供了目标函数景观的几何刻画。特别地，我们证明该问题具有高度结构：以高概率，(1)不存在“伪”局部极小点；(2)在所有鞍点附近目标函数具有负方向曲率。这种独特结构使得该问题易于被高效优化算法处理。在配套论文（arXiv:1511.04777）中，我们设计了一种球面上的二阶信赖域算法，尽管存在鞍点，该算法可证明地从任意初始化收敛到局部极小点。