混合正交投影与估计 (HOPE)：一种探测和学习神经网络的新框架
机器学习
2016-04-26 v2 神经与进化计算
摘要
在本文中，我们提出了一种针对高维数据的新模型，称为混合正交投影与估计 (HOPE) 模型，该模型在统一的生成建模框架下结合了线性正交投影和有限混合模型。HOPE 模型本身既可以通过最大似然估计从无标签数据中进行无监督学习，也可以从有标签数据中进行判别式学习。更有趣的是，我们证明了所提出的 HOPE 模型与神经网络 (NNs) 密切相关，即每个隐藏层都可以重构为一个 HOPE 模型。因此，HOPE 框架可作为一种新工具来探究神经网络为何及如何工作，更重要的是，可用于以监督或无监督方式学习神经网络。在本工作中，我们研究了利用 HOPE 框架学习神经网络以完成几项标准任务，包括 MNIST 图像识别和 TIMIT 语音识别。实验结果表明，HOPE 框架在各种类型的神经网络学习问题（包括无监督特征学习、监督或半监督学习）中，相较于当前最先进的方法取得了显著的性能提升。
引用
@article{arxiv.1502.00702,
title = {Hybrid Orthogonal Projection and Estimation (HOPE): A New Framework to Probe and Learn Neural Networks},
author = {Shiliang Zhang and Hui Jiang},
journal= {arXiv preprint arXiv:1502.00702},
year = {2016}
}
备注
31 pages, 5 Figures, technical report