AutoGrow：深度卷积网络中的自动层数增长
机器学习
2020-06-17 v5 计算机视觉与模式识别
神经与进化计算
机器学习
摘要
深度是深度神经网络（DNNs）的关键组成部分，然而深度的设计是启发式的且需要大量人力。我们提出AutoGrow以自动化DNNs中的深度发现：从浅层种子架构开始，若增长能提升准确率则AutoGrow生长新层，否则停止生长从而发现深度。我们提出鲁棒的生长与停止策略以推广到不同网络架构与数据集。我们的实验表明，通过将相同策略应用于不同网络架构，AutoGrow总能在MNIST、FashionMNIST、SVHN、CIFAR10、CIFAR100和ImageNet的各种数据集上发现近最优深度。例如，在准确率-计算量权衡方面，AutoGrow在ResNets中发现了比人类专家更好的深度组合。我们的AutoGrow是高效的，其在与训练单个DNN相似的时间内发现深度。我们的代码可在 https://github.com/wenwei202/autogrow 获取。
引用
@article{arxiv.1906.02909,
title = {AutoGrow: Automatic Layer Growing in Deep Convolutional Networks},
author = {Wei Wen and Feng Yan and Yiran Chen and Hai Li},
journal= {arXiv preprint arXiv:1906.02909},
year = {2020}
}
备注
KDD 2020