对ER-SpUD字典学习算法的改进分析

在“字典学习”中，我们观测 $Y = AX + E$，其中 $Y\in\mathbb{R}^{n\times p}$, $A \in\mathbb{R}^{m\times n}$, $X\in\mathbb{R}^{m\times p}$。矩阵 $Y$ 被观测到，而 $A, X, E$ 未知。这里 $E$ 是小范数“噪声”，$X$ 是列稀疏的。矩阵 $A$ 被称为字典，其列被称为原子。然后，给定少量样本数 $p$（即 $Y$ 的列），目标是学习字典 $A$ 至小误差，以及 $X$。其动机在于许多应用中，数据在“正确”字典 $A$ 的原子表示下是稀疏的（例如Haar小波基下的图像），目标是从数据中学习 $A$ 以用于其他应用。最近，[SWW12]提出了字典学习算法ER-SpUD，在 $E = 0$ 和 $m = n$ 时具有可证明的保证。他们表明，若 $X$ 具有独立项，每列期望 $s$ 个非零元，且 $1 \lesssim s \lesssim \sqrt{n}$，非零项服从亚高斯分布，则对于 $p\gtrsim n^2\log^2 n$，以高概率ER-SpUD输出矩阵 $A', X'$，其等于 $A, X$ 直至对 $A$（相应 $X$）的列（相应行）进行置换和缩放。他们猜想 $p\gtrsim n\log n$ 已足够，并证明当 $s \simeq 1$ 时这在信息论上任何算法成功都是必要的。后续[LV15]取得了显著进展。我们证明，对于ER-SpUD的一个微小变体，$p\gtrsim n\log(n/\delta)$ 个样本足以以 $1-\delta$ 概率成功恢复。我们还证明，对于未修改的ER-SpUD，即使以多项式小成功概率学习 $A, X$ 也需要 $p\gtrsim n^{1.99}$ 个样本。这解决了[SWW12]的主要猜想，并与[LV15]的主要结果相矛盾，后者声称 $p\gtrsim n\log^4 n$ 能保证以高概率成功。