贪心逐层学习可扩展到 ImageNet
机器学习
2019-04-24 v3 机器学习
摘要
浅层监督式单隐层神经网络具有若干有利特性，使其比深层对应网络更易解释、分析和优化，但缺乏其表示能力。此处我们使用单隐层学习问题逐层顺序构建深度网络，从而继承浅层网络的特性。与以往使用浅层网络的方法不同，我们关注被报道为深度学习中取得成功关键的问题。因此我们研究在大规模 ImageNet 数据集和 CIFAR-10 数据集上用于图像分类任务的 CNN。使用一组简单的架构与训练思路，我们发现求解顺序单隐层辅助问题可得到在 ImageNet 上超越 AlexNet 性能的 CNN。将此种训练方法扩展为通过求解 2 层和 3 层隐层辅助问题来构建各层，我们得到一个 11 层网络，在 ImageNet 上超越 VGG 模型家族的多个成员，并能以与端到端学习相同的精度训练 VGG-11 模型。据我们所知，这是首个可扩展到 ImageNet 的 CNN 端到端训练的有竞争力的替代方案。我们从理论上阐明这些模型的若干有趣性质，并进行一系列实验以研究该训练在中间层上诱导出的性质。
引用
@article{arxiv.1812.11446,
title = {Greedy Layerwise Learning Can Scale to ImageNet},
author = {Eugene Belilovsky and Michael Eickenberg and Edouard Oyallon},
journal= {arXiv preprint arXiv:1812.11446},
year = {2019}
}