压缩字典学习

本文表明，基于 Johnson-Lindenstrauss 引理的降维技术可显著降低用于字典学习的迭代阈值化与 K 残差均值（ITKrM）算法的计算复杂度。该降维通过快速傅里叶变换高效完成。我们提出迭代压缩阈值化与 K 均值（IcTKM）算法以实现快速字典学习，并研究其收敛性质。我们证明，IcTKM 能以高概率从稀疏度为 $S$ 的训练信号中局部恢复出由 $K$ 个原子构成的非相干、过完备生成字典。快速字典学习通过将训练数据与字典嵌入到 $m < d$ 维实现，且证明当嵌入维数低至 $m = O(S \log^4 S \log^3 K)$ 量级时恢复具有局部稳定性。该压缩有效打破了 ITKrM 计算代价中的数据维数瓶颈，将其降低 $O(m/d)$ 倍。我们的理论结果辅以数值模拟，表明 IcTKM 是一种从高维数据集中学习字典的强大、低成本算法。