层次识别架构中最佳的特征学习过程是什么？
计算机视觉与模式识别
2016-06-07 v1
摘要
（本文写于 2011 年 11 月，从未发表。于 2016 年 6 月以原始形式发布在 arXiv.org 上。）许多近期物体识别系统提出使用两阶段训练过程来学习稀疏卷积特征层次：无监督预训练后接有监督微调。近期结果表明，当包含适当的非线性时，这些方法相比纯有监督系统提供的改进甚微。本文对稀疏卷积网络的学习过程空间进行了实证探索，以评估哪种方法产生最佳性能。在我们的研究中，我们引入了预测稀疏分解方法的一种增强，其中包含一个判别项（DPSD）。我们还引入了一种新的单阶段有监督学习过程，对网络每一层的输出状态施加 L1 惩罚。这迫使网络产生稀疏编码，而无需昂贵的预训练阶段。使用结合了侧抑制的新型复杂预测器的 DPSD，结合多尺度特征池化和有监督精调，该系统在 Caltech-101 上达到了 70.6% 的识别率。加上卷积训练后，在 CIFAR-10 数据集上获得了 77% 的识别率。
引用
@article{arxiv.1606.01535,
title = {What is the Best Feature Learning Procedure in Hierarchical Recognition Architectures?},
author = {Kevin Jarrett and Koray Kvukcuoglu and Karol Gregor and Yann LeCun},
journal= {arXiv preprint arXiv:1606.01535},
year = {2016}
}
备注
17 pages, 3 figures