用于无监督特征发现的尖峰 - 平板稀疏编码
机器学习
2012-04-05 v2 机器学习
摘要
我们考虑使用一种称为尖峰 - 平板稀疏编码 (spike-and-slab sparse coding, S3C) 的因子模型来学习分类任务特征的问题。S3C 模型既类似于尖峰 - 平板受限玻尔兹曼机 (spike-and-slab RBM)，也类似于稀疏编码。由于该模型中的精确推断是不可行的，我们推导了一种结构化变分推断过程并采用了变分 EM 训练算法。此前关于该模型近似推断的工作并未优先考虑利用并行架构和扩展至巨大问题规模的能力。我们提出了一种适用于 GPU 的推断过程，使我们能够显著增加训练集规模和潜在因子数量。我们证明了该方法在 CIFAR-10 数据集上改进了稀疏编码和 ssRBM 的有监督学习能力。我们在 CIFAR-10 的子集上评估了该方法在半监督学习方面的潜力。我们展示了该方法在 STL-10 数据集上达到了最先进的自学习 (self-taught learning) 性能，并利用该方法赢得了 NIPS 2011 层次模型学习挑战研讨会 (Workshop on Challenges In Learning Hierarchical Models) 的迁移学习挑战赛。
引用
@article{arxiv.1201.3382,
title = {Spike-and-Slab Sparse Coding for Unsupervised Feature Discovery},
author = {Ian J. Goodfellow and Aaron Courville and Yoshua Bengio},
journal= {arXiv preprint arXiv:1201.3382},
year = {2012}
}