基于近期进展对无监督预训练的分析
计算机视觉与模式识别
2015-04-14 v4 机器学习
神经与进化计算
摘要
卷积神经网络因一系列近期进展而在物体识别上表现优异：修正线性单元（ReLU）、数据增强、dropout 以及大规模标注数据集。无监督数据被提出作为另一种提升性能的途径。遗憾的是，当前最优方法并未使用无监督预训练，由此引出以下问题：在已有这些近期进展的情况下，无监督预训练是否仍然有用？如果有用，在何种条件下有用？我们从三个方面回答该问题：1）开发一种融合了 ReLU 和近期无监督正则化技术的无监督方法；2）在 CIFAR-10 上，通过改变无监督样本与有监督样本的比例，分析无监督预训练相对于数据增强和 dropout 的收益；3）在 STL-10 上验证我们的发现。我们发现，正如预期，当无监督样本与有监督样本比例较高时，无监督预训练有所帮助；而出人意料的是，当该比例较低时，它反而有害。我们还利用无监督预训练结合额外的颜色增强，在 STL-10 上取得了接近最优的性能。
引用
@article{arxiv.1412.6597,
title = {An Analysis of Unsupervised Pre-training in Light of Recent Advances},
author = {Tom Le Paine and Pooya Khorrami and Wei Han and Thomas S. Huang},
journal= {arXiv preprint arXiv:1412.6597},
year = {2015}
}
备注
Accepted as a workshop contribution to ICLR 2015