关于字典学习中L^1最小化的局部正确性

许多重要类别的信号可以通过从给定字典中选取的少量原子的线性组合来良好表示，这一思想对信号处理的理论和实践产生了巨大影响。对于事先未知合适稀疏化字典的实际问题，一种非常流行且成功的启发式方法是寻找一个字典，使其在给定样本数据集上最小化适当的稀疏性替代函数。尽管这一想法颇具吸引力，但这些算法的行为在很大程度上仍是一个谜；虽然有大量经验证据表明它们确实能学习到非常有效的表示，但几乎没有理论能保证它们何时会正确运行，或者学习到的字典何时能够泛化。在本文中，我们向建立这样的理论迈出了一步。我们证明，在温和假设下，字典学习问题是局部适定的：期望解确实是$\ell^1$范数的局部最小值。具体而言，如果$\mb A \in \Re^{m \times n}$是一个非相干（且可能过完备）的字典，且系数$\mb X \in \Re^{n \times p}$遵循随机稀疏模型，那么当样本数$p = \Omega(n^3 k)$时，$(\mb A,\mb X)$以高概率是满足$\mb A' \mb X' = \mb Y$的分解$(\mb A',\mb X')$流形上$\ell^1$范数的局部最小值。对于过完备的$\mb A$，这是首次证明字典学习问题是局部可解的。我们的分析借鉴了为从少量条目中完成低秩矩阵问题而开发的工具，这些工具使我们能够克服许多技术障碍；特别是，避免了受限等距性质缺失的问题。