多尺度残差 PCA 混合模型：用于最优基学习的动态字典
机器学习
2017-07-20 v1 机器学习
摘要
本文关注学习一个过完备基及一种方法论的问题，使得重建或逆问题无需优化。我们分析了所提方法的最优性，及其与人工神经网络、k-means 或 Oja 学习规则等已知流行技术的联系。最后，我们将看到达到最优字典的一种方法是采用因子分解式和层次化的方法。推导出的方法形成了深层 Oja 网络。我们在不同任务上展示了结果，并给出了由此产生的高效学习算法，该算法为深层网络的训练提供了新视角。最后，理论工作表明，深层框架是高效拥有过完备（组合数量级大）字典且允许轻松重建的一种途径。因此，我们提出了深层残差 Oja 网络（DRON）。我们证明了在残差上工作的递归深层方法能使误差随深度呈指数级下降。
引用
@article{arxiv.1707.05840,
title = {Multiscale Residual Mixture of PCA: Dynamic Dictionaries for Optimal Basis Learning},
author = {Randall Balestriero},
journal= {arXiv preprint arXiv:1707.05840},
year = {2017}
}
备注
Draft