多层卷积稀疏建模：追踪与字典学习
计算机视觉与模式识别
2018-07-03 v2 机器学习
机器学习
摘要
最近提出的多层卷积稀疏编码（ML-CSC）模型由级联的卷积稀疏层组成，为卷积神经网络（CNNs）提供了新的解释。在此框架下，CNN中的前向传播计算等价于一种追踪算法，旨在从给定输入信号中估计嵌套的稀疏表示向量——或特征图。尽管作为CNN与稀疏建模之间的关键桥梁，对ML-CSC的深入理解仍然缺乏：没有能够精确服务于该模型的追踪算法，也没有保证模型非空的条件。虽然可以轻易获得近似满足ML-CSC约束的信号，但如何从模型中简单采样，更重要的是如何从真实数据中训练卷积滤波器，仍不清楚。本工作中，我们采用投影方法为ML-CSC模型提出了一种可靠的追踪算法。我们给出了该追踪解稳定性的新的改进界限，并分析了实践中实现它的不同实用替代方案。我们表明滤波器的训练对于允许模型中的非平凡信号至关重要，并且我们推导了一种从真实数据在线学习字典的算法，从而有效产生级联的稀疏卷积层。最后但同样重要的是，我们展示了ML-CSC模型在无监督设置下若干应用中的适用性，提供了有竞争力的结果。我们的工作代表了矩阵分解、稀疏字典学习与稀疏自编码器之间的桥梁，并详细分析了这些联系。
引用
@article{arxiv.1708.08705,
title = {Multi-Layer Convolutional Sparse Modeling: Pursuit and Dictionary Learning},
author = {Jeremias Sulam and Vardan Papyan and Yaniv Romano and Michael Elad},
journal= {arXiv preprint arXiv:1708.08705},
year = {2018}
}