中文

过完备字典的局部识别

信息论 2015-04-03 v2 math.IT 机器学习

摘要

本文首次给出了理论结果,表明从稀疏度水平高达O(μ2)O(\mu^{-2})且信噪比高达O(d)O(\sqrt{d})的训练信号中,局部稳定识别过完备μ\mu-相干字典ΦRd×K\Phi \in \mathbb{R}^{d\times K}是可能的。特别地,字典可以作为新的最大化准则(推广了K-means准则)的局部最大值恢复。对于该最大化准则,提供了稀疏度高达O(μ1)O(\mu^{-1})的渐近精确恢复结果,以及稀疏度高达O(μ2)O(\mu^{-2})且信噪比高达O(d)O(\sqrt{d})的稳定恢复结果。这些渐近结果转化为有限样本恢复结果,只要样本量NNO(K3dSε~2)O(K^3dS \tilde \varepsilon^{-2})缩放,其中恢复精度ε~\tilde \varepsilon可以低至渐近可实现的精度。此外,为了实际找到新准则的局部最大值,提出了一种非常简单的迭代阈值和K(有符号)均值算法(ITKM),每次迭代复杂度为O(dKN)O(dKN),并通过几个实验证明了其局部效率。

关键词

引用

@article{arxiv.1401.6354,
  title  = {Local Identification of Overcomplete Dictionaries},
  author = {Karin Schnass},
  journal= {arXiv preprint arXiv:1401.6354},
  year   = {2015}
}

备注

32 pages, 2 figures, final version accepted to JMLR