大规模特征学习与尖峰-平板稀疏编码
机器学习
2012-07-03 v1 机器学习
摘要
我们考虑具有大量类别的物体识别问题。为了克服该设置中可用标记样本数量少的问题，我们引入了一种基于因子模型的新特征学习和提取过程，称为尖峰-平板稀疏编码（S3C）。先前关于S3C的工作并未优先考虑利用并行架构并将S3C扩展到物体识别所需的巨大问题规模的能力。我们提出了一种适用于GPU的新型推理过程，该过程使我们能够显著增加训练集大小以及S3C可训练的潜在因子数量。我们证明，该方法在CIFAR-10数据集上改进了稀疏编码和尖峰-平板受限玻尔兹曼机（ssRBM）的监督学习能力。我们使用CIFAR-100数据集证明，我们的方法在扩展到大量类别方面优于先前的方法。最后，我们使用我们的方法赢得了NIPS 2011 Workshop on Challenges In Learning Hierarchical Models? Transfer Learning Challenge。
引用
@article{arxiv.1206.6407,
title = {Large-Scale Feature Learning With Spike-and-Slab Sparse Coding},
author = {Ian Goodfellow and Aaron Courville and Yoshua Bengio},
journal= {arXiv preprint arXiv:1206.6407},
year = {2012}
}
备注
Appears in Proceedings of the 29th International Conference on Machine Learning (ICML 2012). arXiv admin note: substantial text overlap with arXiv:1201.3382