DeepArchitect：自动设计与训练深度架构
机器学习
2017-05-01 v1 机器学习
摘要
在深度学习中，性能受到架构和超参数选择的强烈影响。尽管针对简单空间的自动超参数优化已有大量工作，但诸如深度架构空间之类的复杂空间仍基本未被探索。因此，架构的选择由人类专家通过主要由直觉引导的缓慢试错过程手动完成。在本文中，我们描述了一个自动设计和训练深度模型的框架。我们提出了一种可扩展且模块化的语言，允许人类专家紧凑地表示架构及其超参数的复杂搜索空间。所得的搜索空间是树结构的，因此易于遍历。一旦选定所有超参数的值，模型便可自动编译为计算图。我们可以利用搜索空间的结构引入不同的模型搜索算法，例如随机搜索、蒙特卡洛树搜索（MCTS）和序列模型优化（SMBO）。我们展示了在 CIFAR-10 上比较不同算法的实验，表明 MCTS 和 SMBO 优于随机搜索。此外，这些实验表明我们的框架可有效用于模型发现，因为描述富有表现力的搜索空间并以很少的人力发现具有竞争力的模型是可能的。我们的框架和实验代码已公开可用。
引用
@article{arxiv.1704.08792,
title = {DeepArchitect: Automatically Designing and Training Deep Architectures},
author = {Renato Negrinho and Geoff Gordon},
journal= {arXiv preprint arXiv:1704.08792},
year = {2017}
}
备注
12 pages, 10 figures. Code available at https://github.com/negrinho/deep_architect. See http://www.cs.cmu.edu/~negrinho/ for more info. In submission to ICCV 2017