简单深度随机模型集成
机器学习
2014-01-06 v2
摘要
表示学习和无监督学习是机器学习和信号处理的两个核心主题。深度学习是最有效的无监督表示学习方法之一。本文对这些主题的主要贡献如下：(i) 我们提出将代表性的深度学习方法视为聚类集成知识重用框架的特例。(ii) 我们提出将用作特征编码器的稀疏编码视为聚类集成的共识函数，并将字典学习视为聚类集成基聚类的训练过程。(iii) 基于上述两个观点，我们提出了一种非常简单的深度学习算法，名为深度随机模型集成（DRME）。它是随机模型集成的堆叠。每个随机模型集成是一种特殊的 k-means 集成，它丢弃了每个基 k-means 的期望最大化（expectation-maximization）优化，仅保留基 k-means 的默认初始化方法。(iv) 我们提出通过在聚类中应用 DRME（其中使用单链接作为聚类算法）来选择层间最强大的表示。此外，基于 DRME 的聚类也能准确检测自然聚类的数量。在 19 个基准数据集上与 5 种表示学习方法的广泛实验比较证明了 DRME 的有效性。
引用
@article{arxiv.1305.1019,
title = {Simple Deep Random Model Ensemble},
author = {Xiao-Lei Zhang and Ji Wu},
journal= {arXiv preprint arXiv:1305.1019},
year = {2014}
}
备注
This paper has been withdrawn by the author due to a lack of full empirical evaluation. More advanced method has been developed. This method has been fully out of date