利用大规模无监督学习构建高层特征
机器学习
2017-04-17 v5
摘要
我们考虑仅从无标签数据构建高层、类别特定的特征检测器的问题。例如，是否可能仅使用无标签图像学习一个人脸检测器？为了回答这个问题，我们在一个大型图像数据集上训练了一个9层局部连接稀疏自编码器，并带有池化和局部对比度归一化（该模型有10亿个连接，数据集包含从互联网下载的1000万张200x200像素图像）。我们使用模型并行和异步SGD在一个包含1000台机器（16000个核心）的集群上训练该网络三天。与似乎广泛持有的直觉相反，我们的实验结果表明，可以在不将图像标记为包含人脸或不包含人脸的情况下训练一个人脸检测器。控制实验表明，该特征检测器不仅对平移鲁棒，而且对标度和平面外旋转也鲁棒。我们还发现，同一网络对其他高层概念（如猫脸和人体）也很敏感。从这些学习到的特征开始，我们训练网络在ImageNet的20000个物体类别识别中获得了15.8%的准确率，相比之前的最先进水平实现了70%的相对提升。
引用
@article{arxiv.1112.6209,
title = {Building high-level features using large scale unsupervised learning},
author = {Quoc V. Le and Marc'Aurelio Ranzato and Rajat Monga and Matthieu Devin and Kai Chen and Greg S. Corrado and Jeff Dean and Andrew Y. Ng},
journal= {arXiv preprint arXiv:1112.6209},
year = {2017}
}