论多层基追踪、高效算法与卷积神经网络
机器学习
2018-11-22 v5 机器学习
摘要
简约表示在信息建模与处理中无处不在。受近期多层卷积稀疏编码（ML-CSC）模型的启发，我们将传统基追踪问题推广到多层设定，在合成与分析稀疏先验的共生关系中于不同表示层引入类似的稀疏强制惩罚。我们探索了不同的迭代方法以在实践中求解这一新问题，并提出了一种新的多层迭代软阈值算法（ML-ISTA）以及其快速版本（ML-FISTA）。我们表明这些嵌套一阶算法收敛，在某种意义上近不动点的函数值可任意接近原问题的解。我们进一步展示了这些算法如何有效实现特定的循环卷积神经网络（CNN），其在不引入任何参数的情况下推广了前馈网络。我们提出并分析了由所提追踪算法迭代展开所得的不同架构，包括一种新的学习型 ML-ISTA，提供了构建深度循环 CNN 的原则性方法。与其他类似构造不同，这些架构为整个网络整体展开了一个全局追踪。我们在监督学习设定中展示了这些涌现的构造，在保持参数数量不变的同时持续提升了经典 CNN 的性能。
引用
@article{arxiv.1806.00701,
title = {On Multi-Layer Basis Pursuit, Efficient Algorithms and Convolutional Neural Networks},
author = {Jeremias Sulam and Aviad Aberdam and Amir Beck and Michael Elad},
journal= {arXiv preprint arXiv:1806.00701},
year = {2018}
}