求解二次方程组的局部凸性

本文考虑从形式为 $y_i := a_i^T X X^T\in\mathbb{R}^{n\times n}$ 的 $m$ 个标量测量中恢复秩为 $r$ 的半正定矩阵 $X X^T\in\mathbb{R}^{n\times n}$。此类问题出现在多种应用中，包括高维数据流协方差草图、二次回归、量子态层析等。解决该问题的一种自然方法是最小化损失函数 $f(U) = \sum_i (y_i - a_i^TUU^Ta_i)^2$，其整个解流形由 $\{XO\}_{O\in\mathcal{O}_r}$ 给出，其中 $\mathcal{O}_r$ 是 $r\times r$ 正交矩阵的正交群；这在 $n\times r$ 矩阵 $U$ 中是{\it 非凸}的，但像梯度下降这样的方法简单且易于实现（相较于半定松弛方法）。在本文中，我们证明一旦从各向同性高斯 $a_i$ 获得 $m \geq C nr \log^2(n)$ 个样本，以高概率{\em (a)} 该函数在垂直于解流形的线上承认一个维度无关的{\em 局部强凸}区域，并且{\em (b)} 通过额外的 $r$ 的多项式因子样本，简单的谱初始化将以高概率落入该凸性区域内。总之，这意味着带初始化（但无重采样）的梯度下降将线性收敛到正确的 $X$，直至一个正交变换。我们相信这种通用技术（可通过谱初始化达到的局部凸性）应可适用于更广泛的一类非凸优化问题。