无需参数推断的非线性降维深度表示学习
机器学习
2014-01-06 v2 机器学习
摘要
无监督深度学习是最强大的表示学习技术之一。受限玻尔兹曼机、稀疏编码、正则化自编码器和卷积神经网络是深度学习的开创性构建模块。在本文中，我们提出了一种新的构建模块——分布式随机模型。所提出的方法是专家乘积的一种特殊完整实现：(i) 每个专家拥有多个隐藏单元，且不同专家具有不同数量的隐藏单元；(ii) 每个专家的模型是一个 k-中心聚类，其 k-中心仅是均匀采样的样本，其输出（即隐藏单元）是一种稀疏编码，仅保留来自少数最近邻的相似度值。分析了开创性构建模块、几个显著的研究分支与所提出方法之间的关系。实验结果表明，所提出的深度模型能够比深度信念网络学习到更好的表示，同时能够以比深度信念网络少得多的时间训练大得多的网络。
引用
@article{arxiv.1308.4922,
title = {Learning Deep Representation Without Parameter Inference for Nonlinear Dimensionality Reduction},
author = {Xiao-Lei Zhang},
journal= {arXiv preprint arXiv:1308.4922},
year = {2014}
}
备注
This paper has been withdrawn by the author due to a lack of full empirical evaluation